Open10

Elastic

ふ

Elastic Stack is 何

検索プラットフォーム
Elasticsearch、Kibana、Beats、Logstashなどで構成される

ElasticSearch

分散型検索機能付きのデータベース
入門ウェビナー:https://www.elastic.co/jp/virtual-events/getting-started-elasticsearch

kibana

データ探索、可視化(ビジュアル化)、分析できるアプリケーション

Beats

メトリクスを収集できるアプリケーション
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-module-beat.html
logstashの後進

Logstash

ログを成形、解析できるアプリケーション?
https://www.elastic.co/guide/en/be
batsの前身

ElasticAgent

logstash系の一番新しいやつ
https://www.elastic.co/jp/elastic-agent
歴史がわかりやすかった記事
https://qiita.com/j-yama/items/98542cbb458ca723c766

fluentd

not elastic系列
logstash系のアプリケーション
データパイプライン
https://www.fluentd.org

統合機能

ElasticStackの様々なアプリケーションの総称?

ふ

ざっくり以下のカテゴリに分けて学ぶと良さそう
・ElasticSearch
・kibana
・ログパイプライン系(logstash, fluentd)

ふ

本のversion
Fluentd:v0.12.39
Elasticsearch:v5.4.3
Kibana:v5.4.3

だいぶん古い

ふ

本の範囲
データ収集から可視化まで

構成
第一部(1~4章):ログ分析の背景、ログ活用から分析するまでの流れ
第二部(5~8章):Fluentdの解説
第三部(9~14章):Elasticsearchの解説
第四部(15~20章):Kibanaの解説

ふ

第1部 データ分析基盤入門
第1章 データ分析の概要
1-1 データ分析環境を構成する要素
1-2 データ分析基盤の対象
1-3 データ分析のケーススタディ
1-4 概要の把握
1-5 収益構造の把握
1-6 仮説と検証
1-7 意思決定のためのデータ分析
1-8 本省のまとめ

第2章 ログデータの基礎
2-1 ログとは
2-2 サービス改善のためのログ
2-3 ログのデザイン
2-4 ログを生かすデプロイ
2-5 本章のまとめ

第3章 データ分析基盤の構築
3-1 本省で用意する環境
3-2 Elasticsearch側の設定
3-3 Kibanaの起動
3-4 本章のまとめ

第4章 データ分析基盤の運用
4-1 ETL
4-2 データ分析システムの可用性
4-3 データストアの比較
4-4 何を価値としてとどけるか
4-5 エンジニアからデータの活用方法を発信しよう
4-6 第1部のまとめ

ふ

データ分析基盤を作る際に考えるべき要素
・収集:どのデータを集めるべきか、どのようにデータを格納していくか
・変換:データをどのように前処理し、分析しやすい形式にするか
・保存:データをどこに保存しておくか
・分析:どのように基盤に入れたデータを分析し活用してもらうか、分析のために快適な環境を用意するにはどのようにすれば良いか
・表示:どのようにデータを可視化し、結果を伝えられるようにするか
・運用:データを分析するための基盤を長期にわたって運用していくにはどのようにすれば良いか、エンジニアでなくても活用しやすい環境を用意するにはどのようにすれば良いか