AI学習用pcにおすすめのスペック (GPU編)

初めに

こんにちは。休暇亭 向日葵です。
AIの学習、推論に使うgpuは一般向けのgeforceが一番コスパがいいと思うので調べてみました
rtx3000番台から最新世代までをピックアップしています。

rtx 3000番代以前のgpuをおすすめしない理由

rtx 30000番台以前の世代のものはbf16非対応なうえ、fp16性能が極端に低かったり、torchやcuda、gpuドライバの最新バージョンの互換性、一枚あたりの性能、ワットパフォーマンスが低いのでおすすめしません。
また、ヤフオクやメルカリなどで買うものには、故障（中国が改造gpuを作成しているためコアが抜かれている物がある）危険性であったり、
4世代以上前のtesla(サーバー用シリーズ)やquadro(ワークステーション向け)の極端に性能が低いけど、vramは多いものとかがAI用とか言って売られていますが買わないようにしましょう。
特にintel xeon pcとセットになっているものは買わないことが正解です(cpuはcore i世代でいうと第6世代以前のものが多いです)
基本的に産廃(文字通り)を横流ししている(たぶん)外国人がいるブラックマーケットなので。
知り合い以外からは絶対買わないでください。おねがいです。

おすすめのcpu、マザボはAI学習用pcにおすすめのスペック(CPU編)ができ次第解説します。

おすすめの買い方

買っていいもの

世代

rtx 3000番台移行

ストア

おすすめ=> dospara(在庫少な目だが相場の影響を受けにくいです)
おすすめ=> パソコン工房(中古の日だけ駿河屋と同じ価格になります)
じゃんぱら(dosparaより安いです)
駿河屋(最安。多分届くのが遅い)
tukumo

中古で買ってはだめなもの

世代

rtx 2000番代以前
quadro rtx
quadoro a2000以降[△]
tesla
titan(gtx 1600世代です)

ストア

アプライド(店頭価格でない限り高め)
ソフマップ(全体的に高い)
ストアの中古と同じ値段なのでお勧めしない=> ヤフオク
絶対買わないで=> メルカリ

gpuをピックアップし性能を比較

rtx 3060のスペック

tdp 175w
fp16 9(boost 12)tflops
fp32 9(boost 12)tflops
tensor(fp16) 51 (boost 102)tflops
vram 12gb

値段

26000～35000円
5000番台がで収まった今常にどこかで30000円で買えます。

備考

初心者~中級者にお勧め
特に推論しかしない人はこれ1個か2個あれば十分です。
パラメータ数3bまでのslmしかやらない人はunslothがマルチgpu対応するまではこれ1個でいいです。
マルチgpu対応してから2枚目を買えばいいだけですし。
2個買って4060tiより安ければ迷わず2個買ったほうがいいかも。（2個で56000円ラインまでの時）
ちなみに私はrtx 3060 12gb x1です。

rtx 3090のスペック

tdp 350w
fp16 29(boost 35)tflops
fp32 29(boost 35)tflops
tensor(fp16) 142 (boost 284)tflops

vram 24gb

備考

推論しかしない人は3060 x2個買ってください。
いま、在庫数のなさ、排熱がすごいことによる寿命、コア抜き問題などいろいろやばいモデルです。
これで学習をするのなら5070tiか5060tirをお勧めします。

rtx 5060ti 16gbのスペック

fp16,fp32 23tflops
tensor(不明)
vram 16gb

備考

中級者～上級者向け。
推論しかしない人は合計vram24gb以上にしたいときでない限り買わなくてよいです。
4060ti 16gbを買うよりかは +2.5万円追加してこれ買ったほうがいい。
理由としては4060tiはメモリ帯域（推論速度に関係します）が3060の半分くらいだから。
また、3090を推論目的で買う人も思いとどまって5060ti 16gb x2か　3060 12gb + 5060ti 16gbにしたほうがいいです。
（gpu持ってすらないなら3060から始めることをお勧めします。）

rtx 5070ti のスペック

tdp　300w
fp16 32 43tflops
tebsor 177(354)tflops
vram 16gb

備考

3090を学習目的で買う人向けのモデルです。
なぜなら、3090でvram使い切るために学習時にバッチサイズを大きくしてもワットパフォーマンスがすごく悪くなる(使用100%まで使い切ったら)だけなことが予想できるから。
24gbと16gbで学習できる物の差がありますが、3090を買いたいなら5090を買いましょう。
もしくはunslothがマルチgpuに対応するまで待つか。
どっちにしろgpu一枚しか刺さないなら、これか5090を買いましょう

rtx　5090　のスペック

省略

備考

4090を買ったタイプの人向けのモデルです。
5080 x2 の性能にtdpだけ75%にしたようなスペックです。
カタログスペックだけ見ると3090 x3や4090 x2と表したくなります。
個人的にはunslothがマルチgpu対応したら買ったことを後悔しそうなので、買えないし買わない予定。

終わりに

gpuの解説は以上です。
（私はllm以外もやるので、マルチgpuには興味ないよ、3060いらないよっていうくらいの人がいたら欲しい）