🚙
Elasticsearch公式のベンチマーキングツール : Rally
概要
RallyはElastic社公式のベンチマーキングツールで、jsonで定義されたシナリオをベースにElasticsearchに対して負荷をかけるためのPython製のCLIツールです。
過去実際に大幅な新規フィールド追加時のパフォーマンス検証時に利用しとても便利だったため、今回はその大まかな使い方をご紹介します。
ユースケース
ベンチマーキングツールとして
上述の通りRallyはベンチマーキングツールであるため、例えばバージョンアップ時の負荷検証であったり、新規プラグインを導入した際の負荷検証などに利用可能なツールです。一通り使ってみた感想ですが、検索リクエストではなく主にインデキシングのリクエストに対する負荷状況を計測を得意としているように思えます。メトリクスとしてはざっくり以下のようなものが取得可能です。
- リクエスト関連
- スループット
- レイテンシ
- エラーレート
- Elasticsearchのクラスター関連
- GC duration
- シャードのmergeに利用した時間
- インデックスサイズ
またツール内にElasticsearchを建てる機能も内包しており、別途自前でクラスタを建てる必要もなく、日本語検索で必要となるプラグイン周りのインストールや辞書のインストールが定義１つ追加するだけで可能となっています。
既存のクラスタに対してベンチマーキングを行いたい際にも、コマンドラインの引数に接続情報を記述することで試験が可能です。
データ抽出ツールとして
Rallyはデータをもとにトラックを作成 -> インデキシングの検証という使い方をされるツールです。がこれを応用して、ある環境からデータを引き抜いて他の環境に移すツールとしての使い方も可能です。普段だと独自のツールなどでやりがちなこの操作ですが、Rallyを使うことでお手軽に実施できてしまうのでなかなかオススメです。
Rallyを使ってみる
前提環境
今回の検証は以下の環境で行いました。
- macOS BigSur
- Python : 3.8.1
- Java : openjdk 11.0.9
RallyはPython製のツールであるため、3.8以上を動作要件としています。
Javaのバージョンに関しては起動したいElasticsearchのバージョンによって異なるため、詳しくは以下のリンク先をご覧ください。
インストール
pipでインストール可能です。前述の通りPython3.8以上を必要とします。
pip3 install esrally
サクッと走らせてみる
公式から提供されている負荷試験シナリオ(track)は以下のコマンドで確認可能です。
% esrally list tracks
Available tracks:
Name Description Documents Compressed Size Uncompressed Size Default Challenge All Challenges
------------- ----------------------------------------------------------------------- ----------- ----------------- ------------------- ----------------------- ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
geonames POIs from Geonames 11,396,503 252.9 MB 3.3 GB append-no-conflicts append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts,significant-text
percolator Percolator benchmark based on AOL queries 2,000,000 121.1 kB 104.9 MB append-no-conflicts append-no-conflicts
http_logs HTTP server log data 247,249,096 1.2 GB 31.1 GB append-no-conflicts append-no-conflicts,runtime-fields,append-no-conflicts-index-only,append-sorted-no-conflicts,append-index-only-with-ingest-pipeline,update,append-no-conflicts-index-reindex-only
geoshape Shapes from PlanetOSM 60,523,283 13.4 GB 45.4 GB append-no-conflicts append-no-conflicts
metricbeat Metricbeat data 1,079,600 87.7 MB 1.2 GB append-no-conflicts append-no-conflicts
geopoint Point coordinates from PlanetOSM 60,844,404 482.1 MB 2.3 GB append-no-conflicts append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
nyc_taxis Taxi rides in New York in 2015 165,346,692 4.5 GB 74.3 GB append-no-conflicts indexing-querying,append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts-index-only,update,append-ml,date-histogram
geopointshape Point coordinates from PlanetOSM indexed as geoshapes 60,844,404 470.8 MB 2.6 GB append-no-conflicts append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
so Indexing benchmark using up to questions and answers from StackOverflow 36,062,278 8.9 GB 33.1 GB append-no-conflicts append-no-conflicts
eql EQL benchmarks based on endgame index of SIEM demo cluster 60,782,211 4.5 GB 109.2 GB default default
nested StackOverflow Q&A stored as nested docs 11,203,029 663.3 MB 3.4 GB nested-search-challenge nested-search-challenge,index-only
noaa Global daily weather measurements from NOAA 33,659,481 949.4 MB 9.0 GB append-no-conflicts sql,append-no-conflicts,append-no-conflicts-index-only,top_metrics,aggs
pmc Full text benchmark with academic papers from PMC 574,199 5.5 GB 21.7 GB append-no-conflicts indexing-querying,append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflict
今回は、一番軽量なpercolatorを用いで検証してみます。
% esrally race --distribution-version=7.15.0 --track=percolator
[INFO] Race id is [6d4f67de-b291-4950-8318-072a638027c8]
[INFO] Preparing for race ...
[INFO] Downloading track data (121.1 kB total size) [100.0%]
[INFO] Decompressing track data from [/Users/pakio/.rally/benchmarks/data/percolator/queries-2.json.bz2] to [/Users/pakio/.rally/benchmarks/data/percolator/queries-2.json] (resulting size: [0.10] GB) ... [OK]
[INFO] Preparing file offset table for [/Users/pakio/.rally/benchmarks/data/percolator/queries-2.json] ... [OK]
[INFO] Racing on track [percolator], challenge [append-no-conflicts] and car ['defaults'] with version [7.15.0].
Running delete-index [100% done]
Running create-index [100% done]
Running check-cluster-health [100% done]
Running index [100% done]
Running refresh-after-index [100% done]
Running force-merge [100% done]
Running refresh-after-force-merge [100% done]
Running wait-until-merges-finish [100% done]
Running percolator_with_content_president_bush [100% done]
Running percolator_with_content_saddam_hussein [100% done]
Running percolator_with_content_hurricane_katrina [100% done]
Running percolator_with_content_google [100% done]
Running percolator_no_score_with_content_google [100% done]
Running percolator_with_highlighting [100% done]
Running percolator_with_content_ignore_me [ 46% done]
Running percolator_with_content_ignore_me [100% done]
Running percolator_no_score_with_content_ignore_me [100% done]
------------------------------------------------------
_______ __ _____
/ ____(_)___ ____ _/ / / ___/_________ ________
/ /_ / / __ \/ __ `/ / \__ \/ ___/ __ \/ ___/ _ \
/ __/ / / / / / /_/ / / ___/ / /__/ /_/ / / / __/
/_/ /_/_/ /_/\__,_/_/ /____/\___/\____/_/ \___/
------------------------------------------------------
| Metric | Task | Value | Unit |
|---------------------------------------------------------------:|-------------------------------------------:|------------:|-------:|
| Cumulative indexing time of primary shards | | 2.94787 | min |
| Min cumulative indexing time across primary shards | | 0.0317167 | min |
| Median cumulative indexing time across primary shards | | 0.507367 | min |
| Max cumulative indexing time across primary shards | | 0.80695 | min |
| Cumulative indexing throttle time of primary shards | | 0.0583667 | min |
| Min cumulative indexing throttle time across primary shards | | 0 | min |
| Median cumulative indexing throttle time across primary shards | | 0 | min |
| Max cumulative indexing throttle time across primary shards | | 0.0303167 | min |
| Cumulative merge time of primary shards | | 0.0116333 | min |
| Cumulative merge count of primary shards | | 1 | |
| Min cumulative merge time across primary shards | | 0 | min |
| Median cumulative merge time across primary shards | | 0 | min |
| Max cumulative merge time across primary shards | | 0.0116333 | min |
| Cumulative merge throttle time of primary shards | | 0 | min |
| Min cumulative merge throttle time across primary shards | | 0 | min |
| Median cumulative merge throttle time across primary shards | | 0 | min |
| Max cumulative merge throttle time across primary shards | | 0 | min |
| Cumulative refresh time of primary shards | | 1.15005 | min |
| Cumulative refresh count of primary shards | | 59 | |
| Min cumulative refresh time across primary shards | | 0.0188167 | min |
| Median cumulative refresh time across primary shards | | 0.22465 | min |
| Max cumulative refresh time across primary shards | | 0.275417 | min |
| Cumulative flush time of primary shards | | 0.0307 | min |
| Cumulative flush count of primary shards | | 9 | |
| Min cumulative flush time across primary shards | | 0 | min |
| Median cumulative flush time across primary shards | | 0 | min |
| Max cumulative flush time across primary shards | | 0.0307 | min |
| Total Young Gen GC time | | 15.778 | s |
| Total Young Gen GC count | | 8995 | |
| Total Old Gen GC time | | 0.319 | s |
| Total Old Gen GC count | | 3 | |
| Store size | | 0.0781473 | GB |
| Translog size | | 3.07336e-07 | GB |
| Heap used for segments | | 0.0661278 | MB |
| Heap used for doc values | | 0.0077858 | MB |
| Heap used for terms | | 0.036499 | MB |
| Heap used for norms | | 0 | MB |
| Heap used for points | | 0 | MB |
| Heap used for stored fields | | 0.021843 | MB |
| Segment count | | 45 | |
~~~ 中略 ~~~
| Min Throughput | percolator_no_score_with_content_ignore_me | 15.05 | ops/s |
| Mean Throughput | percolator_no_score_with_content_ignore_me | 15.08 | ops/s |
| Median Throughput | percolator_no_score_with_content_ignore_me | 15.07 | ops/s |
| Max Throughput | percolator_no_score_with_content_ignore_me | 15.11 | ops/s |
| 50th percentile latency | percolator_no_score_with_content_ignore_me | 11.0354 | ms |
| 90th percentile latency | percolator_no_score_with_content_ignore_me | 12.6811 | ms |
| 99th percentile latency | percolator_no_score_with_content_ignore_me | 13.2097 | ms |
| 100th percentile latency | percolator_no_score_with_content_ignore_me | 15.3898 | ms |
| 50th percentile service time | percolator_no_score_with_content_ignore_me | 6.67196 | ms |
| 90th percentile service time | percolator_no_score_with_content_ignore_me | 7.16561 | ms |
| 99th percentile service time | percolator_no_score_with_content_ignore_me | 7.63037 | ms |
| 100th percentile service time | percolator_no_score_with_content_ignore_me | 10.8921 | ms |
| error rate | percolator_no_score_with_content_ignore_me | 0 | % |
このように、コマンド一つでトラックを利用したベンチマークが可能なことが確認できました。
既存のインデックスからカスタムトラックを作成する
上記手順ではRally側で公式に提供しているトラックを用いた検証しましたが、実際のユースケースでは独自のデータを使いたいケースかと想定されます。
そのようなことも想定されており、Rallyでは既存のクラスタに接続し、任意のインデックスをもとにトラックを作成する機能を提供しています。
以下のコマンドで実行可能です。
# https, 認証ありクラスタの場合
esrally create-track --track={トラック名} --target-hosts={https抜きのクラスターのアドレス:ポート} --client-options="use_ssl:true,verify_certs:true,basic_auth_user:'{ユーザ名}',basic_auth_password:'{パスワード}',http_compression:true" --indices="{生成元インデックス名}" --output-path={出力先}
# http, 認証なしクラスタの場合
esrally create-track --track={トラック名} --target-hosts={http抜きのクラスターのアドレス:ポート} --client-options="http_compression:true" --indices="{生成元インデックス名}" --output-path={出力先}
____ ____
/ __ \____ _/ / /_ __
/ /_/ / __ `/ / / / / /
/ _, _/ /_/ / / / /_/ /
/_/ |_|\__,_/_/_/\__, /
/____/
[INFO] Connected to Elasticsearch cluster [XXXX] version [7.15.0].
Extracting documents for index [example... 1000/1000 docs [100.0% done]
Extracting documents for index [example]... nnnn/nnnn docs [100.0% done]
[INFO] Track example has been created. Run it with: esrally --track-path=/path/to/tracks/example
---------------------------------
[INFO] SUCCESS (took 266 seconds)
---------------------------------
ここで生成されたファイルを確認してみます。
% cd tracks/example
% tree .
.
├── track.json
├── example-documents-1k.json
├── example-documents-1k.json.bz2
├── example-documents.json
├── example-documents.json.bz2
└── example.json
トラックの定義とともにインデックスから取得されたデータ、そこから1000件のみ抽出されたデータ、インデックス定義がそれぞれ作成されたことを確認できました。
カスタムトラックを実行する
上記手順を用いて作成したトラックをもとに、ベンチマークを行う方法です。
esrally race --track-path=./tracks/example --distribution-version=7.15.0
このとき、起動されているElasticsearchにはプラグインなどは何も導入されていない点にご注意ください。
プラグイン込のクラスタを起動する
Rallyではプラグインをインストールした状態のクラスタでのベンチマークもサポートしています。
コマンド1つでインストール可能なものは基本的にElasticsearch公式で提供しているものとなり、一覧は以下のコマンドで確認可能です。
% esrally list elasticsearch-plugins
Available Elasticsearch plugins:
Name Configuration
----------------------- ---------------
analysis-icu
analysis-kuromoji
analysis-phonetic
analysis-smartcn
analysis-stempel
analysis-ukrainian
discovery-azure-classic
discovery-ec2
discovery-file
discovery-gce
ingest-attachment
lang-javascript
lang-python
mapper-attachments
mapper-murmur3
mapper-size
repository-azure
repository-gcs
repository-hdfs
repository-s3
store-smb
transport-nio
transport-nio transport
transport-nio http
ここに記載のあるプラグイン込で実行したい場合、コマンドライン引数に-elasticsearch-plugins="{プラグイン名}"を追加します。
esrally race --distribution-version=7.15.0 --track=percolator --elasticsearch-plugins="analysis-icu,analysis-kuromoji"
この他にも、任意のプラグインをインストールした状態で起動することも可能なので、詳しくは公式のドキュメントを御覧ください。
辞書を追加済みのクラスタを起動する
日本語検索の場合、シノニムやカスタム辞書などを設定することが一般的です。Rallyでもカスタム辞書を内包したクラスタを起動することは可能ですが、少々手順が複雑であるため以下に手順を残します。
任意の試験環境(Car)を定義する
Rallyではベンチマークを実行するそれぞれの環境をCarと呼んでいます。Carは~/.rally/benchmarks/teams/default/cars/v1に定義されており、XXX.ini単体、もしくは同名のディレクトリとセットで取り扱われます。
% vi with-dictionary.ini
with-dictionary.ini
[meta]
description=Includes custom dictionary
type=mixin
[config]
base=with-dictionary,vanilla
% mkdir -p with-dictionary/templates/config
これで、Carの定義と辞書を配置するディレクトリが完成しました。カスタム辞書やシノニムのファイルをこのフォルダに配置してください。
この時点で、Carの一覧を出力し、一覧に新しく定義したCarが含まれているかを確認します。表示されていれば成功です。
% esrally list cars
Available cars:
Name Type Description
----------------------- ------ --------------------------------------
16gheap car Sets the Java heap to 16GB
1gheap car Sets the Java heap to 1GB
24gheap car Sets the Java heap to 24GB
2gheap car Sets the Java heap to 2GB
4gheap car Sets the Java heap to 4GB
8gheap car Sets the Java heap to 8GB
defaults car Sets the Java heap to 1GB
basic-license mixin Basic License
debug-non-safepoints mixin More accurate CPU profiles
ea mixin Enables Java assertions
fp mixin Preserves frame pointers
g1gc mixin Enables the G1 garbage collector
parallelgc mixin Enables the Parallel garbage collector
trial-license mixin Trial License
unpooled mixin Enables Netty's unpooled allocator
with-dictionary mixin Includes custom dictionary
x-pack-ml mixin X-Pack Machine Learning
x-pack-monitoring-http mixin X-Pack Monitoring (HTTP exporter)
x-pack-monitoring-local mixin X-Pack Monitoring (local exporter)
x-pack-security mixin X-Pack Security
実行するCarを指定する
上記のような手順で作成したCarやデフォルト以外のCarを利用する場合には、race実行時のコマンドライン引数に--car="{Car名}"を付与します。
% esrally race --distribution-version=7.15.0 --track=percolator --car="with-dictionary"
まとめ
Elastic謹製のベンチマーキングツール、Rallyについてご紹介しました。
使ってみると便利な一方で、公式ドキュメント以外のまともな利用例が見つからず正直とっつきにくいのが第一印象でしたが、今回の検証でかなりイメージを変えることができました。
Javaさえインストールされていれば、トラック定義やCar定義はリポジトリから取得することも可能なので、例えばGitHub Actionsで定期的にベンチマークを走らせるなど夢が膨らみます。
Discussion