行数の多いログファイルをローカルで解析する

概要

サーバなどを管理していると問題発生時にトラブルシュートにログを使用して、問題の調査を行うことがあります。
ただ、logrotateなどをしていると複数世代のログファイルが大量にあり、全てのサーバでこれらを確認するのは時間効率的にも非常に悪いです。
そういったときにはSplunkを使用してローカルで解析するととてもはかどります。

Goal

• ローカルでSplunkを立ち上げる方法
• 立ち上げたSplunkでログファイルを解析する方法の例

Non Goal

• Splunkを使用した高度な分析方法の説明

環境

今回は下記の環境ですが、WindowsやLinuxでもダウンロード以外は同じになるかと思います。

OS	version
macOS	Catalina v10.15.5

内容

Splunkのダウンロード

https://www.splunk.com/ja_jp/download/splunk-enterprise.html#tabs/macos

tgzかdmgの好きな方をダウンロードしてください。
（こだわりがなければdmgのほうがポチポチだけで終わるので楽です）

Splunkの起動とアクセス

1. /Applications/Splunk/bin/splunk start --accept-license --answer-yes
2. ブラウザで http://localhost:8000

私はPATHに入れてすぐに起動できるようにしています
export PATH=/Applications/Splunk/bin:$PATH

ログ・ファイルを食わせてみる

• 右上のSettingsのData inputsをクリック
  

• Data inputsの種類として色々とありますが、今回はサーバのログファイル想定なので、Files & Directoriesの + Add newをクリック
  

• File or Directoryで解析したログファイルを選択する
  

• 後はページ上部の緑のボタンを押して最後にSubmitを押した後にStart Searching

後はSplunkのクエリなどを利用して目的の情報がログにあるかを調査しましょう

まとめ

• ローカルで立ち上げたSplunkでログファイルを解析するまでの手順をまとめた
• 今後はSplunkクエリの検索例などをまとめる予定