GPUStack のインストールと設定

該当する OS に合わせてダウンロード & インストール
https://gpustack.ai

起動したら Quick Config が走るので、port 番号だけ気をつける

起動時にスタートもチェックしとく

起動したら Web コンソールへアクセスして、使いたいモデルをデプロイする
gemma3 のも動いたけど GPU を食いすぎると mac の描画性能が悪くなるので、適当に良いモデルを選択する。

m1 ultra に qwen2.5-7b でこのくらいの GPU VRAM 使用率(17.8%)

GPUstack で準備したモデルを Dify で使えるようにするためには、Dify 側で設定が必要です。

設定のモデルプロバイダーから追加しますが、その前に GPUStack 側で準備します。
デプロイされたモデルの三点リーダーから API Access Info を指定します。

ここの Access URL/Model Name/API Key それぞれが必要です。

右上の自分のアイコンから「設定」します。

設定を開いたら "モデルプロバイダー"で "GPUStack" をインストールしてから 「モデルを追加」します。

"Access URL" を "Server URL" へ
"Model Name" を "Model Name" へ
作成した "API Key" を "API Key" へ、それぞれコピペします。

なお Docker で動かしている場合 Localhost でアクセスはできないので、ホスト名には "host.docker.internal" を使います。

これで GPUStack で指定した AI モデルが Dify で利用できるようになります。