Elasticsearch社にElastic Cloud Workshopを開催いただきました
こんにちは！
株式会社ココナラのシステムプラットフォーム部インフラ・SREチームに所属しているかたぎりと申します。
本記事では2023年1月に参加したElastic Cloud Workshopについて紹介します。
背景
ココナラではElastic Cloudを利用しています。主に検索関連のプラットフォームとして使っていますが、今後はオブザーバビリティを強化していきたいと考えています。
いくつか手法の選択肢があるなかで、Elasticsearch社にご協力いただき、まずはベースとなる知識を増やす機会を得ることができました。
今回はKibanaに特化した内容で開催いただいております。
Kibanaとは？
Elasticsearch社が提供している、一言でいうと「取り込んだデータ（ログ）の可視化およびデータの検索や分析が可能なUI」を提供しているものです。
Elastic Stackでは、最もユーザーに近いプロダクトとして位置しています。
任意のダッシュボードを作成でき、柔軟なカスタマイズ性を備えています。今回のWorkshopでもその柔軟さを実感しました。
勉強会の様子
Elasticsearch社の皆様がお越しくださり、弊社で開催しました。
お昼に開始したため、Elastic StackやKibanaをご紹介いただきつつ一緒に昼食を取りました。
なんと、Elasticsearch社より美味しそうなお弁当をいただきました！
今回はElasticsearch無料トライアルアカウントを使用したハンズオンとなっています。
以下の流れで進んでいきました。
- Elastic Cloud環境セットアップ
- 各種機能について
- セキュリティについて
Elastic Cloud環境セットアップ
作成したアカウントにて、Elastic Cloud上にKibanaをデプロイしていきます。
もともとv8.5.3を想定していましたが、ちょうどWorkshopの前日にv8.6.0がリリースされたようです。
メンバーによって微妙に表示項目が異なることがあり、ちょうどA/Bテストが行われているとわかりました。
無事デプロイできた後は、サンプルデータを用意して準備完了です。
今回のサンプルデータは航空関連の情報とECサイトの注文情報が入ったログの2種類を扱いました。
各種機能について
まずはKibanaのUIに触れます。分析に使用するサンプルデータをKibanaにインプットすると即時反映されました。
ちなみに、Kibanaに組み合わせられるインテグレーションは多種多様です。
数だけ見ても326種類と多く、AWS/Google Cloud/Azure関連やSlack、Google Driveといった多様なシステムに対応しています。
データの一元管理ができるだけでも大きな魅力に感じます。
以下では直近10日間でのデータ量が確認できます。
全件3,069hits
ここから任意のフィルタリングを行い、見たいデータを絞り込んでいきました。
一つひとつ項目を入力してフィルタできるのですが、KibanaではKQL（Kibana Query Language）が提供されており、クエリを入力することでもフィルタが可能です。
全文検索も可能とのことで、さすが検索を得意とするElasticsearch社っぽさを感じます。
フィルタ後12hits
また、Kibana Lensを用いてデータの可視化を行いました。
任意のビューを作り、多角的に分析することも可能です。もちろん作ったビューに対してKQLを実行することも可能です。
位置情報を用いたMap形式のビューを作成することもできるので、グローバルなプロダクトに対しても有用に思えます。
一例として、IPアドレスを用いたアクセス元の可視化ができそうです。
同一ログを様々な形式で表示
複数ログを組み合わせて表示
Mapを利用した航空情報の表示
セキュリティについて
ダッシュボードを作ったとしても、それが部署ごとに最適化された内容であるとは限りません。
他部署には公開したくない内容だが分析が必要な項目もあると思います。
そこで部署ごとにゾーニングして、指定の部署には指定のダッシュボードのみを見せるユースケースを体験しました。
具体的には任意のロールを作成して、指定のユーザーに紐付けることで実現可能です。
Marketing部署で見られるダッシュボード
SysOps部署で見られるダッシュボード
まとめと今後に向けて
今回はKibanaを利用して、データの探索や分析について学びを得ました。
具体的なユースケースがあると、今後プロダクト選定する際に、よりココナラにフィットした選択に繋げられる一助になると感じます。
すぐに導入とはいかないまでも、ベースの知識を身につける良い機会となりました。
短い時間でしたが、このような場を設けてくださったElasticsearch社の皆様にはこの場を借りて御礼申し上げます。
インフラ・SREチームでは様々な施策に取り組んでいます。
一例として、サービスのスケールに向けてRDSのAurora移行や、分析のためのDBデータ→BigQueryリアルタイム化の推進、Kubernetes導入を検討しています。
ご興味ある方はぜひぜひご応募ください！
SRE求人はこちら
ブログの内容への感想、カジュアルにココナラの技術組織の話をしてみたい方はこちら
※ブログ閲覧者の方限定のカジュアル面談の応募フォームとなります！
エンジニアの募集職種一覧はこちら
Discussion