LLMを自宅で動かす用のPCを組むときに考えてたこと
https://zenn.dev/dashboard全体的な方針
そもそも組まずにAWSやGCPなどのクラウドで代替できないかを考える。
例えば比較的安価に使えるクラウド計算リソースであるRunPodであれば4090が0.34$/H = 54.4円程度 (1$160円で計算)
ローカルで1300W/Hのマシンを使うのであれば、おおよそ電気代は40円程度で1日GPUを走らせても345.6円、1週間でも2419.2円しか変わらない。
そのうえで、今回はローカルに置いておきたい個人的なデータ(自宅カメラの動画など)がある、データを気軽に散らかせる、気軽に学習のトライアンドエラーができるといった点で自宅に構築することを選択。
パーツ選びに関してはまずGPUを決め、GPUに対してボトルネックが出ない用なCPUを選択。
CPUが決まればマザボとメモリも自動的に決まる。
ただし、Intel 13,14世代はクラッシュの問題があったのと自身がRyzen信者であったのもあり今回はAMDを選択。
ファン、メモリについては特に深く考えていません。
(正しくは配線を綺麗にするためファンにCorsairのiCUE Linkを考えていたがクソほど割高なのでやめた)
記憶ディスクは所持品を流用
GPU周り
VRAM命なので最低でも16GB以上のものが欲しかった。
特に7b以上の画像や言語、音声モデルを2つ以上同時に載せること、学習も想定していたので、24GB以上のGPUが好ましい。
16GB以上で視野に入れていたのは以下。
32GB
- RTX 5090 (おそらく45万前後)
24GB
- RTX 4090 (30万前後)
- RADEON 7900XTX (15万前後)
16GB
- RTX 5080 (おそらく25万前後)
- RTX 5070ti (おそらく16万前後)
4000番台は供給が切られて値上がり傾向にあったので、5000番台まで待った方がいいと判断。
9700XTXはRoCOMがWindowsに対応していないので選ばなかったが、Linux上で動作させるのであれば4080 Superより若干劣る程度で動作するようなのでかなりアリ。15万ぐらいで24GB手に入るのは破格。とはいえ他のライブラリの対応とかが気になる以上、NVIDIAを選択するのが賢明か。
5090は価格がぶち抜けているので現実的なラインでの選択肢は5080と5070ti。
CUDAコアが15%程度違うが、値段が10万程度変わるので、16GB内で選ぶなら拘りが無い限り5070tiでいい気がする。
AI TOPSも20%ぐらいの違いなので、確かな差はあるが大きな差ではないと思う。
5070tiのAI TOPS > 4090になってるのは5000番台はFP4に対し、4000番台はFP8で計算してるせい。
比較条件は揃えてもろて...
最終的にVRAMも速度も欲しかったので5090を選択。
気づいたら家から何枚かカードが消えていたが、5090の代金が手元にあった。
5090は4090の速度20~30%マシで、5070tiと5080の違いみたいなところはあるが、+8GBが魅力なので5090を選択。
5090は600Wの消費電力とのことで熱がヤバそうなので空冷でなく簡易水冷のものがほしかった。
MSI,ROGあたりが水冷モデルを出す予定なので期待だが値段が50万超えそうで怖い。
また、いろいろな動画や投稿で5000番台のレビューやベンチマークを見たが、LLMのベンチマークを日本でやっている人はいなかった。(4000番台ですらち〇ろぐさんだけだった記憶)。
そろそろベンチマークにLLMのtoken/sの指標を追加してほしいところ
CPU
ボトルネックにならないように9(900|950)X, 9(800|950)X3Dが選択肢。
適当にその時一番人気で世界的に品薄でプレミアムもついていた9800X3Dを選択。
個人輸入したが国内価格より5,000円安い87,000円で4日ほどで手に入ったのはよかった。
後になってLLM目的なら3D Cacheよりスレッド数を意識した方がいいことに気づき9900Xか9950Xでよかったと思った。ゲームもやりたい!という人なら9800X3Dでもいい。
ケース選び
エアーフローが命。
CPUとGPUともに簡易水冷を使いたかったので、ケース前面と側面にそれらを配置して吸気ができ、上面と背面から排熱ができるミニタワーのもの(追加で底面から吸気ができるといいかも)が理想。
最終的に裸が選ばれました。
マザボ
AM5 Socketのものが最低要件。
5090を使うならPCIE 5.0にしたかったので、B850かX870を選択したい。
B650でもEがついてれば5らしいけど、自分が見たASUSのやつは違った。なんも分からん。
ただ、PCIE 4.0でもGPUの性能にあまり影響しにくいらしい(ゲームのベンチマーク情報)ので、最安やコスパを求める人間はB650チップセットでいいかも。
データ転送が大事になる処理であるため、転送上限が倍なのは大事かと思ったけどそうでもないのだろうか?
B850はまだ数が少なくmicro-atxだと6種ほどしか見えなかった。値段も4万~といった印象。高い。
GIGABYTEの2万円のものがあったが逆に怖くて手を出せない。
それ以外ではM.2やGPUの着脱のしやすさ、VRMの充実度で判断。
多分B850かX870を買う。
電源
最低限消費電力の2倍になるように選択。
5090+CPUの時点で1200W以上の電源が必須。
事前に購入してあった1200W電源でギリギリラインだったので耐えた。
扱う電力が非常に大きいので80 GOLD+が最低ラインでPLATINUMの方がいい気がする。
5090クラスは12VHPRでの給電が必要になるので、12VHPRネイティブのコネクタがある電源を選ぶとよさそう。でないと4pinを3つ連結させた3to1ケーブルになるので配線がもたつく。
また、瞬間的に900W食うこともあるらしいので、ATX3.1以上に準拠した電源がよさそう。
ちなみに、事前に購入したthermaltake GF1/1200W電源はどちらも×。全体感決めてから買うべきという教訓。
Project Digits
CES2025で発表されていた124GBのユニファイドメモリを持つ(シロモノ)[https://www.nvidia.com/en-us/project-digits/]。
Mac Miniと同様にメモリをそのままCPU、GPUメモリとして利用可能なので100GB以上のLLMを載せることが可能。公式曰く200Bモデルが載る。deepseek671Bの三分の一程度のものが載ると考えると精度にはかなり期待できる。
50万程度でこの環境が手に入るのはかなりでかい(しかも省電力)。
5090と近しい金額なので選択肢に入ったが、あくまでも"載る"であり、速度面が不安だったので断念。
その他
「PCが1台あれば世界は変えられる」そんな言葉は計算リソースのゲームに参加するようになって消えました。
特に5090のような大容量のGPUを学生がポンと買うのは無理に近いです。企業さん下さい。DM待ってます。
他に何か思いついたら書きます
Discussion