Chapter 01

TWLogAIANについて知りたい人は

twsnmp
twsnmp
2022.05.24に更新

TWLogAIANを作っている理由

TWLogAIANは2022年の元日から開発を開始した
「私のためにAIがアシストしてくれるログ分析ツール」
です。
このツールを開発している一番の目的は私自身が実務で使うことです。
開発や保守しているソフトの問題を調査するためのログ分析に利用するのが
一番の目的です。このような目的に最適なツールを作っています。

一般的なログ分析システムと違うのは、

  • 分析中だけログを保持する
  • 分析が終わったら跡形もなく削除できる
  • 普通のパソコンで使える
  • 自分専用の全文検索のためのインデックスを作成/削除できる

というようなことだと思っています。
問題の調査のためにログを提供してもらって調査によって問題が解決したら
フォルダーを削除すれば全部消せるという感じです。
大規模なログ分析システムだと、それなりの性能のサーバーが必要ですが、
自分のパソコンで簡単に分析できるような工夫をしています。

できること

このツールでは次のようなことが出来ます。

  • ログをどこからでも高速に集めてこれる
  • 集めたログを高速にフィルターできる
  • ログから簡単かつ高速にデータを抽出できる
  • ログと抽出したデータから全文検索エンジンのインデックスを作成できる
  • 集計や抽出したデータを簡単に検索してAI分析できるる
  • 集計や抽出したデータ、AI分析結果を簡単にビジュル化できる
  • 分析結果のリストやグラフを簡単にCSV,Excelファイルに保存できる

分析対象のログ

このツールが対象としているログは次のようなものです。

  • ローカルファイル
  • リモートファイル(SCP経由)
  • TWSNMP FCに保存したログ
  • Docker/Kubernetsのログ(コマンド/SSH経由)
  • Gravwellのログ
  • Windowsのイベントログ(リモートも含む)

TWLogAIANの中身

TWLogAINの中は、

のようになっています。