👨‍💻

ローカルLLM で 2 GPU 構成を検証してみる

に公開
AI
llm
tech

概要

ローカル環境で大規模言語モデル（LLM）を動かす際、GPUを2枚構成にすることで性能が向上するのか検証してみました。

検証環境

  • OS: Windows 11 Pro
  • CPU: AMD Ryzen 9 5900XT
  • メモリ: DDR4 128GB
  • GPU:
    • NVIDIA RTX PRO 4500 Blackwell (VRAM 32GB)
    • NVIDIA RTX 4000 SFF Ada (VRAM 20GB)
  • 使用ツール:LM Studio (gpt-oss-120bをローカルで実行)
  • コンテキスト長: 4096
  • プロンプト: 3000語程度のショートストーリーを生成してください。

目的

  • 単体GPUと2GPU構成での性能差（tokens/sec）を測定
  • GPUメモリ使用量・RAM消費量を観察
  • 複数GPUのメリットがあるかを確認

LM Studio の GPU 制御

  1. Ctrl + Shift + H で Hardware を表示
  2. GPUs に検出された GPU の有効/無効を切り替えるトグルスイッチがある

検証結果

構成 Tokens/sec 4500 VRAM使用量 4000 VRAM使用量 RAM使用量
1GPU（offload=16） 17.10 27.1 / 31.5 GB - 約69 GB
2GPU（offload=22） 16.24 21.9 / 31.5 GB 15.5 / 20.0 GB 約69 GB

考察

2GPU構成におけるメリットは「より多くGPUにオフロードできる」ことに尽きるようです。
ただし、オフロード数が増えても通信オーバーヘッドや非対称GPU構成による遅延が生じるため、性能向上にはつながらない（むしろ低下する）ケースも多いと考えられます。

Discussion