🤖
GPUスパコンでvllmを試してみた：はじめに
Zennを使ってみるテスト兼作業メモ。
ふと、GPUスパコンでvllmを動かしてみようと思った。
資料
環境
- 玄界 https://www.cc.kyushu-u.ac.jp/scp/
- RHEL8系
- ノードグループB：H100 GPU×4（HBM2e, 94GiB）
- ノードグループC：H100 GPU×8（HBM3, 80GiB）
以下、試した内容を別記事に記す。適宜更新。
-
Pre-build wheel編
- ビルド済みのものを持ってきて使う版。
- 動きはしたのだが、Qwen3-Coderのserveを試してみたらエラー。
-
Build wheel from source編
- 自分でビルドして使う版。
- Qwen3-Coderのserveに成功。（小規模なものでのみ動作確認。）
Discussion