👏

【RunPod】Cloud GPUで70B LLMを動かす際の落とし穴と注意点まとめ

に公開
AI
GPU
llm
CloudGPU
tech

生成AIの爆発的な進化に伴い、自社のサービスにLLM（大規模言語モデル）を組み込むエンジニアや、研究対象としてLLMを扱う研究者が急増しています。

一般的に、LLMはモデルサイズ（パラメータ数）を大きくするほど性能が向上します。しかし、実用レベルで高性能な「70B（700億パラメータ）」クラスのモデルを動かそうとすると、ハードウェアの壁にぶつかります。

例えば、NVIDIA A100 GPUなどは1枚で$10,000（約150万円以上）もするため、個人や小規模なチームのお小遣いで気軽に購入できるものではありません。

そこで救世主となるのがCloud GPU Serviceです。
今回は、代表的なサービスであるRunPodを使用して、実際にLlama 3.3 70Bモデルを動かした際に遭遇した「環境構築の落とし穴」や「注意点」を共有します。

70Bモデルを動かすにはハイエンドGPUが必須

今回の検証では、推論用途（Inference）でLlama 3 70Bクラスのモデルを使用しました。

理論上、70Bモデルを量子化なし（fp16/bf16）でロードするには、約140GBのVRAMが必要と言われています。しかし、実際に試してみたところ、A100 (80GB) 1枚の環境でも動作させることができました。

とはいえ、ローカルPCのGPUでは到底太刀打ちできないスペックが必要なのは間違いありません。ここからは、RunPodなどのクラウド環境特有の注意点を解説します。

環境構築の落とし穴①：ストレージ容量とマウント

まず最初に直面するのがストレージ不足です。

RunPodの多くのインスタンスでは、デフォルトのディスク容量（Container Disk）が20GB程度に設定されています。しかし、70Bモデルのファイルサイズは巨大です。

実際にダウンロードした後のサイズを確認すると以下のようになります。

root@3ae46da39590:/workspace/huggingface/hub/models--meta-llama--Llama-3.3-70B-Instruct# du -sh  
132G    .

モデルだけで132GBも消費するため、初期設定のままではダウンロード中に容量不足で確実にエラーになります。
インスタンスを立てる際は、必ずVolume Storageを200GB以上に拡張してマウントするようにしましょう。これで安定して動作します。

環境構築の落とし穴②：Hugging Faceのキャッシュ場所

ストレージを拡張したからといって安心はできません。「どこに保存されるか」が重要です。

RunPodなどのコンテナ環境では、拡張した永続ストレージは通常 /workspace ディレクトリにマウントされます。一方、ルートディレクトリ（/）配下の容量は小さいままです。

Hugging Faceのライブラリ（transformersなど）は、デフォルトでユーザーのホームディレクトリ（~/.cache/huggingface など）にモデルをキャッシュしようとします。これは /workspace 外であるため、結局すぐにストレージがいっぱいになってしまいます。

これを回避するために、環境変数 HF_HOME を設定し、キャッシュ先を /workspace 配下の広いストレージに向ける必要があります。

設定例:

export HF_HOME=/workspace/deception-detection/data/huggingface

これを .bashrc 等に記述しておくか、実行前に必ず宣言するようにしましょう。

開発効率化の落とし穴③：LLM Agent/VS Code利用時

最近では、VS CodeのSSH機能を使ってCloud GPUに接続し、CursorやWindsurf、GitHub Copilotといった「AI Coding Agent」を活用しながら開発する方も多いでしょう。

SSH接続の設定自体は（LLMに聞けばすぐに教えてくれるので割愛しますが）難しくありません。しかし、AI Agentを使う際には特有の罠があります。

AIは「ここがクラウド環境であること」を知らない

AI Agentに「モデルをロードするコード書いて」や「ダウンロードして」と指示を出すと、彼らは一般的な環境を想定したコードを書きます。

つまり、前述した HF_HOME の設定を無視して、デフォルトのパス（容量の少ないルートディレクトリ）にモデルをダウンロードし始めることがあるのです。結果、いつの間にか「Disk Full」エラーが発生し、原因究明に時間が取られることになります。

対策:

  • 事前に .env ファイルや環境変数で明示的にダウンロード先を指定しておく。
  • AI Agentへのプロンプトで「モデルの保存先は必ず /workspace 配下を指定して」と念押しする。

便利なツールだからこそ、環境特有の制約は人間側がコントロールしてあげる必要があります。

コスト実績：論文再現プロジェクトの事例

最後に、気になるコストについてです。
実際に私が取り組んだ論文再現プロジェクトでの実績を公開します。

  • GPU: NVIDIA A100 (80GB)
  • 単価: 約 $1.4 / hour
  • 合計費用: 約 $30（約4,500円）

いかがでしょうか？
最先端の研究成果を再現したり、70Bクラスの巨大モデルを動かしたりする経験が、飲み会1回分程度のお小遣いで実現できてしまいました。

まとめ

数百万円のGPUを購入しなくても、Cloud GPUを活用すれば誰でも最先端のLLM実験が可能な時代になりました。

  1. ストレージ容量は余裕を持って確保する（200GB〜）
  2. Hugging Faceの保存先（HF_HOME）を /workspace に向ける
  3. AI Agent使用時は、保存先パスを明示的に指示する

これらのポイントを押さえておけば、無駄なエラートラブルを回避してスムーズに開発に着手できます。今後もCloud GPUを使用する機会は増えていくはずですので、賢く活用していきましょう！

Discussion