RTXPRO5000を使ってOllamaを動かしてみた
GPUの値段が爆上がりしている昨今、バイブコーディングや社内DXを加速度的に進めていきたく、社内稟議をごり押す事で、RTXPRO5000を購入しました。
(本当はRTXPRO6000が欲しかったけど、それはまた今度という事で･･･）
今後ローカルLLMも性能が上がって行く事を考慮し、PRO5000でも足りるでしょ！
という事で早速環境構築をしました。
対象層
UbuntuでOllamaをとりあえず動かしたい人向けになっております。
Ollamaの導入
公式インストールスクリプトを実行します
curl -fsSL https://ollama.com/install.sh | sh
これを実行するだけで、Ollamaの導入はサクッと終わります。
GPUのドライバのインストール
下記コマンドでちゃんとGPUが見えているかをチェックしましょう。
lspci | grep -i nvidia
正常だと
01:00.0 VGA compatible controller: NVIDIA Corporation ...
このようなメッセージが出力されます。
ドライバが認識されているか確認するコマンドを打ちます。
nvidia-smi
ドライバーの適用がうまくいってないとこのようなメッセージが出ます。
Every 1.0s: nvidia-smi
sh: 1: nvidia-smi: not found
ですので、適切なドライバーをインストールする必要があります。
ubuntu-drivers devices
このコマンドを実行すると、下部に以下のようなメッセージが出てきます。
vendor : NVIDIA Corporation
driver : nvidia-driver-570-server-open - distro non-free
driver : nvidia-driver-570-open - distro non-free
driver : nvidia-driver-580-server-open - distro non-free
driver : nvidia-driver-580 - distro non-free
driver : nvidia-driver-570-server - distro non-free
driver : nvidia-driver-580-open - distro non-free recommended
driver : nvidia-driver-580-server - distro non-free
driver : nvidia-driver-570 - distro non-free
driver : xserver-xorg-video-nouveau - distro free builtin
･･･以下略
この中でどのドライバを入れれば良いかというとnvidia-driver-580-openになります。
末尾にrecommendedがついている物を基本的には選べば問題ない様です。
用途に応じて選択する必要があるようですが、とりあえずおすすめの物をインストールします。
sudo apt install -y nvidia-driver-580-open
その後再起動を実行します
sudo reboot
再起動後再びコマンドが通るか確認します。
nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.95.05 Driver Version: 580.95.05 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA RTX PRO 5000 Blac... Off | 00000000:01:00.0 Off | Off |
| 30% 28C P8 7W / 300W | 2MiB / 48935MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+
ちゃんと認識されたようです。
適当に実行してみる
後はLLMを適当にダウンロードして起動させてみます。
ollama run gpt-oss:20b
起動に成功したら、ちゃんとグラフィックボード上にオンロードされているか確認しましょう。
watch -n 1 nvidia-smi
ちゃんとメモリが使われている事や、AIに質問を投げかけるときちんとGPUFANが回り、電力を消費します。
メモリ量的に並列でgpt-oss:20bは3つ程度動かせそうですね。
適当に卵料理の献立を考えさせたら、推論や出力も爆速です。
推論込みでこのスピード感が出せれば、色々なモデルを試せると思います。
今後の展望
40GB以上のグラフィックボードを搭載する事で、一部を社内ChatGPTもどきとして利用したり、バイブコーディングのAPIとして利用するという方向性を試していきたいですね。
何より自前で買う事で無制限にバイブコーディングが出来ると思うとわくわくしてきますね。
Discussion