🔥

NVIDIA RAPIDS Accelerator for Apache Sparkを使う

に公開

NIVIDA RAPIDS とは、データサイエンス向けのGPUアクセラレーション用ライブラリで、
この中に Accelerator for Apache Spark が含まれる。
これを使うと、コードを変更することなくSparkの処理をGPUを使って加速できるらしい。

使い方

導入はとても簡単で、ダウンロードページから.jarファイルをダウンロードし、sparkセッション
を立てる時、あるいはspark-submit時にspark.jarsオプションに指定するだけ。

ただし、実際にはいくつかオプション設定が必要だったり、設定によってチューニングできたりする。

RAPIDS Accelerator のオプション

実際にRAPIDSを使ってSpark jobを実行する際に使いそうなオプションを以下に示す。詳細は公式のUser Guideを参照のこと。
ちなみにテスト環境はCPU 32コア、GPUはA2000 12Gb一台を積んだPC。

spark-submit \
    --executor-memory 4g \
    --driver-memory 4g \
    --conf spark.executor.cores=8 \
    --num-executors=1 \
    --conf spark.rapids.sql.concurrentGpuTasks=2 \
    --jars ./jars/rapids-4-spark_2.12-25.08.0.jar \
    --conf spark.plugins=com.nvidia.spark.SQLPlugin \
    --conf spark.rapids.memory.pinnedPool.size=2g \
    --conf spark.sql.files.maxPartitionBytes=512m \
    --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
    --conf spark.kryo.registrator=com.nvidia.spark.rapids.GpuKryoRegistrator \
    --conf spark.rapids.memory.gpu.allocFraction=0.25 \
    --conf spark.rapids.memory.gpu.minAllocFraction=0.01 \
    sparkScript.py
  • spark.executor.cores=8とnum-executors=1:
    Sparkはデフォルトだと全てのCPUコアを使うので、cores=32となり、一つのjob/stageが32 taskに分割されてしまう。GPUのリソースに応じて調整すると良い。今回はexecutorが1つで8つのCPUコアを使う。ちなみに、RAPIDSはGPU対executorが 1-to-1 mappingなので、2つGPUがあって、両方使いたい時はnum-executors=2が必要。
  • spark.rapids.sql.concurrentGpuTasks=2:
    GPU上で同時に実行されるTaskの数。1だとI/Oなどの時間にGPUが遊んでしまうので、2が良いとのこと。基本2で良さげ。
  • --jars ./jars/rapids-4-spark_2.12-25.08.0.jarとspark.plugins=com.nvidia.spark.SQLPlugin:
    これがGPUを使う際に必須の設定。
  • spark.sql.maxPartitionSize=512m:
    Spark SQLが一つのパーティションに入れるデータの最大サイズ。
    デフォルト値は125mだが、GPUを使う場合はタスク実行のオーバーヘッドが増えるので、少し大きくした方が良いとのこと。GPUのメモリが不足しない程度に設定。
  • spark.rapids.memory.pinnedPool.size=2g:
    システムRAM側にキープするメモリ領域で、GPUとCPU間のデータ転送を改善するらしい。デフォルトでは0なので、システムRAM側に余裕があればmaxPartitionSize*concurrentGpuTasks + α程度設定する。
    今回は (512m * 2) = 1g + 1g = 2g
    分からなければとりあえずmaxPartitionSize=512、pinnedPool.size=2gで。
  • spark.kryo.registrator=com.nvidia.spark.rapids.GpuKryoRegistrator:
    Kryo Serializer を使う場合は必要。
  • spark.rapids.memory.gpu.allocFraction=0.25:
    空いているGPUメモリの何割を確保するか。例えば A2000 12GbではGPUメモリが解放されている時には 12GB*0.25 = 3GB 確保される。
    GPUメモリを占有してよいジョブの場合はデフォルト(=1)でAvailを全て確保する。
  • spark.rapids.memory.gpu.minAllocFraction=0.1:
    確保するGPUメモリの最低値。全体の容量に対してこの割合が確保できないとエラーになる。デフォルトでは0.25。

その他オプション

  • spillStorageSize:
    GPUメモリが足りなくなった時に、いきなりディスクに退避させるのではなく、システムのRAMを使うために確保する容量で、デフォルトはpinnedPool.size + 1g
    1行分のデータサイズが極端に大きいなど特殊な場合以外はデフォルトでよさそう。
  • spark.rapids.sql.batchSizeBytes:
    GPUでカラムデータを処理する際、複数のカラムバッチを結合して大きなバッチを作り、一度に処理することで効率化をしている。その際のバッチサイズを決める。
    デフォルトは1gだが、GPU out of memoryエラーが出る場合は小さい値を使う。

走らせてみる

Apache Spark 3.2.0 以降、Scala 2.12または13、NVIDIA Driver 525以上が必要だが、それ以外特に変更は必要なし。
上記のオプションを入れ、spark-submitする。
nvidia-smiで確認。

GPU-Utilが 87%になっていて、javaのプロセスが3GBくらい確保している。

Qualification Toolを使ってGPUを使う意味があるか調べる。

Spark RAPIDSには、CPUでの実行ログを元にGPUへ移行する価値があるかどうか解析してくれるQualificationツールがある。
導入は簡単で、

pip install spark_rapids_user_tools

でインストールできる。
一度CPUでSparkアプリケーションを走らせる。この時、--conf spark.eventLog.dir=file://path_to_log_dir オプションを付けて走らせることで、sparkの実行ログが指定したパスに生成される。
Qualification toolを走らせるには、

spark_rapids qualification --platform onprem --eventlogs file://path_to_log_dir

とする。すると、qual_.... という名前のディレクトリが生成されるので、その中のqualification_summary.csvを開いてみる。

"Estimated GPU Speedup" を見ると、GPUを使うことでCPUだけの時より4~5倍ほど速くなるという推定が出ている。これを見れば、GPUを使う価値がありそうかどうか確認することができる。

Discussion