🐶

Composite Aggregationとは？Elasticsearchで大規模データを効率的に集計する方法

2024/07/03に公開

最近、大規模なデータを効率的に処理する必要性がますます高まっていると感じませんか？特にElasticsearchを利用している方なら、複雑なクエリや大量のデータを扱うことが日常茶飯事でしょう。しかし、そんな中でデータをどのように効率的に集計し、分析結果を迅速に得るかという課題に直面している方も多いのではないでしょうか。

例えば、商品の売上データを月別や地域別に詳細に集計したい場合、単純なアグリゲーションではデータ量が多すぎて処理が追いつかないことがあります。これでは、ビジネスの重要な意思決定をタイムリーに行うのが難しくなります。

では、どうすれば大量のデータを効果的に集計し、スムーズに分析結果を得られるのでしょうか？その答えの一つが「Composite Aggregation」です。この技術を使えば、大規模なデータセットをページネーションを用いて効率的に集計することが可能になります。

本記事では、Composite Aggregationの基本的な使い方から、具体的なクエリ例、さらには実際の使用例とベストプラクティスまでを詳しく解説します。この記事を読めば、Composite Aggregationの全貌を理解し、実際のプロジェクトでどのように活用できるかが明確になるかと思います！

Composite Aggregationの基本

Composite Aggregationとは？

Composite Aggregationは、Elasticsearchにおける多バケットアグリゲーションの一種です。複数のフィールドを組み合わせてバケットを作成し、それらを効果的にページネートすることが可能です。これは特に大規模なデータセットに対して有効で、他の多バケットアグリゲーションとは異なり、結果をストリーミング形式で取得できます。

他の多バケットアグリゲーションとの違い

他の多バケットアグリゲーション（例：terms aggregation）では、大量のデータを扱う際に結果の一部しか取得できない場合があります。しかし、Composite Aggregationでは、ページネーション機能を活用することで、全てのバケットを逐次取得できるため、大規模データの集計に非常に適しています。

大量データに適した理由

Composite Aggregationは、ページネーションによる段階的なデータ取得をサポートしており、一度にすべての結果を取得する必要がないため、メモリ消費を抑えながら効率的にデータを処理できます。これにより、非常に大きなデータセットでも問題なく扱うことができます。

Composite Aggregationの使い方

基本的なクエリの書き方

Composite Aggregationのクエリは、以下のように記述します。

{
  "size": 0,
  "aggs": {
    "composite_agg": {
      "composite": {
        "sources": [
          { "field1": { "terms": { "field": "field1.keyword" } } },
          { "field2": { "terms": { "field": "field2.keyword" } } }
        ]
      }
    }
  }
}

この例では、field1とfield2の組み合わせでバケットを作成しています。

複数レベルのアグリゲーションの実行方法

Composite Aggregationは、複数のレベルにわたる集計が可能です。例えば、以下のようにネストされたアグリゲーションを定義できます。

{
  "size": 0,
  "aggs": {
    "composite_agg": {
      "composite": {
        "sources": [
          { "field1": { "terms": { "field": "field1.keyword" } } },
          { "field2": { "terms": { "field": "field2.keyword" } } }
        ]
      },
      "aggs": {
        "nested_agg": {
          "terms": { "field": "nested_field.keyword" }
        }
      }
    }
  }
}

ページネーションの実現方法

Composite Aggregationは、ページネーションを実現するためにafterパラメータを使用します。最初のリクエストで得られたafter_keyを次のリクエストに渡すことで、次のページの結果を取得できます。

{
  "size": 0,
  "aggs": {
    "composite_agg": {
      "composite": {
        "sources": [
          { "field1": { "terms": { "field": "field1.keyword" } } },
          { "field2": { "terms": { "field": "field2.keyword" } } }
        ],
        "after": { "field1": "value1", "field2": "value2" }
      }
    }
  }
}

使用例とベストプラクティス

Python ES_DSLを用いたComposite Aggregation

PythonのElasticsearch DSLを使用してComposite Aggregationを実行する方法を紹介します。

from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search, A

client = Elasticsearch()

s = Search(using=client, index="my_index")
a = A('composite', sources=[
    {"field1": A('terms', field="field1.keyword")},
    {"field2": A('terms', field="field2.keyword")}
])
s.aggs.bucket('composite_agg', a)

response = s.execute()
for bucket in response.aggregations.composite_agg.buckets:
    print(bucket.key)

フィルタリングとクエリの最適化

Composite Aggregationを使用する際には、フィルタリングとクエリの最適化が重要です。例えば、特定の条件に一致するデータのみを集計対象とする場合、queryセクションでboolクエリを使用してフィルタリングを行います。

{
  "query": {
    "bool": {
      "must": [
        { "match": { "status": "active" } }
      ]
    }
  },
  "size": 0,
  "aggs": {
    "composite_agg": {
      "composite": {
        "sources": [
          { "field1": { "terms": { "field": "field1.keyword" } } },
          { "field2": { "terms": { "field": "field2.keyword" } } }
        ]
      }
    }
  }
}

パフォーマンス向上のためのヒント

Composite Aggregationを使用する際のパフォーマンス向上のためには、以下の点に注意します。

フィールドキャッシング: 頻繁に使用するフィールドはキャッシュを有効にする。
適切なシャーディング: インデックスのシャード数を最適化して、並列処理を活用する。
メモリ使用量の管理: sizeやtimeoutパラメータを調整して、メモリの使用量を管理する。

他の関連するアグリゲーション

Multi-bucket Aggregationとは？

Multi-bucket Aggregationは、複数のバケットを作成するアグリゲーションの総称です。Composite Aggregationもこの一種ですが、特にページネーションに優れています。

Scrollを使用したドキュメントのストリーミング

Scroll APIを使用することで、ドキュメントをストリーミング形式で取得し、大量のデータを効率的に処理できます。Composite Aggregationと併用することで、データの集計と取得をシームレスに行うことができます。

まとめ

Composite Aggregationのまとめ

Composite Aggregationは、大量データの効率的な集計を可能にする強力なツールです。その基本的な使い方から高度なテクニックまでを理解し、実際のプロジェクトに活用することで、Elasticsearchの真価を引き出すことができます。この記事を参考に、ぜひComposite Aggregationを活用してみてください。

最後までお読みいただきありがとうございました。Composite Aggregationの詳細な実装や応用例についてさらに知りたい方は、公式ドキュメントや最新のリリースノートもチェックしてみてください。