Chapter 04

ログ分析のための設定

twsnmp
twsnmp
2022.05.24に更新

TWLogAIANでログを分析を行うための設定について説明します。

ログ分析設定画面

作業フォルダーを選択するとログ分析の設定画面が表示されます。

ログの種類にカスタム設定を選択して全ての項目を表示した状態です。
ログを読み込む場所については次のチャプターで説明します。
それ以外の項目について説明します。

tar.gzの再帰読み込み

tar.gzで圧縮されたファイルの中に更にtar.gzので圧縮されたファイルがあった場合に、
その中身も再帰的に読み込みたい場合にチェックします。階層に制限はありません。
注意しないと大量のログを読み込むことになります。

タイムゾーン不明はUTC

ログのタイムスタンプにはタイムゾーンが含まれていないものが多いので、
タイムゾーンが不明の場合はローカルタイムとして扱うことにしています。
でも、それが嫌な人のためにUTCにする設定をつけておきました。

フィルター

ログを読み込む時に読み込む行を制限するための設定です。
正規表現で指定できます。大量のログの中から分析したいログだけ読み出してインデックスを作成するためのものです。
対象のログの量を減らしたほうが読み込みや検索の時間を少なくできます。インデックスのサイズも小さくできます。

アクセスログの例では、

POST

と設定すればログにPOSTという文字列があるログ(POSTリクエスト)だけ読み込むことができます。

ログの種類

読み込むログの種類を指定します。情報の抽出方法をTWLogAIANが知っているログの種類は

のような感じです。
syslogだけでも古いBSD形式やタイムスタンプにタイムゾーンや秒以下の桁に対応した新しいIETF形式があります。
自分で細かく設定したい時は、カスタムを選択します。

ログのサンプル

ログの種類がわからない時に、この欄にサンプルのログをコピペして右端のチェックボタンを
クリックすると自動で判別してくれます。

のような感じです。
判別できないときは「分かりません」と表示されます。あまり役にたたないかもしれません。

ホスト名を調べる

ログの中にあるIPアドレスの項目からDNSでホスト名を調べて項目を追加します。
カスタム設定の場合は、”ホスト名解決項目”にホスト名を調べたい項目の変数名を記載します。
Apacheのアクセスログなどの組み込みのログタイプの場合は、項目を自動で設定します。

位置情報を調べる

ログの中にあるIPアドレスの項目からGeoIPデータベースで位置情報を調べて項目を追加します。
カスタム設定の場合は、”IP位置情報項目”に位置情報を調べたい項目の変数名を記載します。
Apacheのアクセスログなどの組み込みのログタイプの場合は、項目を自動で設定します。

位置情報のデータベースは、

https://note.com/twsnmp/n/n3da4faad8ce6

で説明したファイルです。ダウンロードの方法は変わっているかもしれません。
このファイルを設定の下の方にあるIP位置情報データベースに設定してください。

ベンダー名を調べる

ログの中にあるMACアドレスからベンダー名を調べて項目を追加します。
MACアドレスを調べる項目名を"MACアドレス項目"に指定します。
MACアドレスとベンダー名の関係はTWLogAIANに組み込んであります。

タイムスタンプ項目

タイムスタンプとして使う項目の変数名を指定します。
空欄の場合は一番左側にあるタイムスタンプぽい文字列を自動でタイムスタンプとして取得します。

ホスト名解決項目

IPアドレスからホスト名を解決する項目の変数名を指定します。カンマ区切りで複数指定できます。

IP位置情報項目

IPアドレスから位置情報を取得する項目の変数名を指定します。カンマ区切りで複数指定できます。

MACアドレス項目

ベンダー名を調べるMACアドレスの項目の変数名を指定します。カンマ区切りで複数指定できます。

インデックスをメモリ上に作成

全文検索エンジンBlugeのインデックスをメモリ上に作成します。
読み込んだログもメモリ上に保存します。プログラムを終了すると消えてしまいます。
大量のログを読み込みと当然メモリ不足になると思います。
チェックしない場合はインデックスを作業フォルダーに作成します。

IP位置情報データベース

GeoIPのデータベースファイルを指定します。