Splunk - インデクサ（Indexer）

1. インデクサ

Splunk Enterpriseインスタンスは、データをインデックス化し、rawデータをイベントに変換し、結果をインデックスに格納します。また、searchリクエストに応じてインデックス化されたデータを検索します。

インデックス作成機能は、Splunk Enterpriseの他の基本機能であるデータ入力と検索管理も頻繁に実行します。大規模な導入環境では、転送エージェントがデータの入力を行い、インデクサにデータを転送してインデックスを作成します。同様に、インデクサは常に自身のデータに対して検索を実行しますが、大規模な導入環境では、search headと呼ばれるSplunk Enterpriseの専用インスタンスが検索管理を行い、複数のインデクサにわたる検索を調整します。

Splunk Enterprise のデータの格納場所となるのが、インデックスです。Splunk Enterprise は受信したデータを イベントに変換し、インデックスに格納します。

1.1. 主要な機能

インデクサの主な機能は次のとおりです。

• 受信データのインデックス作成
• インデックス化されたデータの検索

Splunk Enterpriseインスタンスが1つだけ存在する単一マシン環境では、インデクサがデータ入力と検索管理機能も処理します。このような小規模な環境は、組織内の1つの部署のニーズを満たすのに適しています。

より大規模な環境では、インデックス作成をデータ入力機能から分割し、場合によっては検索管理機能からも分割します。このような分散型デプロイメントでは、Splunk Enterpriseインデクサを単独のマシンに配置し、インデックス作成とインデックス化されたデータの検索のみを実行させることがあります。このような場合、インデックス作成以外の役割は他のSplunk コンポーネントが担当します。転送はフォワーダが担当し、インデクサはデータをインデックス化および検索、サーチヘッドはインデクサのセット全体の検索を調整します。 スケールアウトしたデプロイメントの例を以下に示します。

2. インデックス

Splunk Enterprise インデックスには、さまざまなファイルが含まれています。これらのファイルは主に次の2つのカテゴリーに分類されます。

• 圧縮された生のデータ（rawデータ）
• Indexファイル(tsidxファイルとも呼ばれる)を指す生のデータおよびいくつかのメタデータファイル

ファイルは年齢別に整理されたディレクトリに格納されます。これらのディレクトリは、buckets と呼ばれます。インデックスの作成を開始するには、Splunk Enterpriseでインデックス化するデータ入力を指定します。

2.1. イベント処理

Splunk Enterpriseは、インデックス作成中にイベント処理を実行します。 受信したデータを処理して高速な検索と分析を可能にし、その結果をイベントとしてインデックスに格納します。

• データストリームを個々の検索可能なイベントに分割する。
• タイムスタンプを作成または識別する。
• host、source、sourcetypeなどのフィールドを抽出する。
• 受信データに対してユーザー定義のアクションを実行する（カスタムフィールドの識別、機密データのマスキング、新規または変更されたキーの設定、複数行イベントの分割ルール適用、不要なイベントのフィルタリング、サーバーへのルーティング.etc）。

2.2. インデックスの種類

Splunk Enterprise は2種類のインデックスをサポートしています。

インデックスタイプ	説明
Event Index	イベントインデックスは最小限の構造しか持たず、メトリクスデータを含むあらゆるタイプのデータを格納できます。デフォルトのインデックスタイプです。
Metrics Index	メトリクスインデックスは高度に構造化されたフォーマットを使用して、メトリクスデータに関連する大量のデータと低レイテンシの要求に対応します。メトリクスデータをメトリクスインデックスに格納すると、同じデータをイベントインデックスに格納する場合と比較して、パフォーマンスが向上し、インデックスストレージの使用量が少なくなります。

2つのインデックスタイプの処理および管理方法に違いはほとんどありません。イベントインデックスとメトリクスインデックスの両方で同じ順序で処理が行われます。メトリクスデータは、実際は高度に構造化されたイベントデータの一種です。

3. インデクサクラスタ

インデクサクラスタは、連携して動作し、冗長インデックスの作成と検索機能を提供するSplunk Enterpriseグループの一つです。クラスタには次の3種類のノードがあります。

• クラスタを管理する単一のマネージャノード。マネージャノードはインデクサの特殊なタイプです。
• 複数のピアノード。クラスタのインデックス作成機能を処理し、データの複数コピー、インデックス作成/維持、データ全体での検索を実行します。
• 1つ以上の検索ヘッド。全てのピアノードにわたって検索を調整します。

インデクサクラスタは、ピアノード間で自動的にフェイルオーバー機能を備えています。つまり、1つ以上のピアが故障した場合でも、受信データは引き続きインデックス化され、インデックス化されたデータは引き続き検索可能になります。