Zenn
🙄

gpt-oss-20b x Mem32G + RTX3060Ti 8G の環境では快適に動かなかったメモ（Ollama）

に公開
Windows 11
Ollama
ローカル LLM
gptoss
tech

はじめに

OpenAIが、Open Modelsとして、モデル提供してくれるのは想像しておらず、とても素晴らしい取り組みだと思います。
gpt-oss-120b を MacBook M4 Max で動作できている方々（知人も含め）を見かけ、羨ましいところではありますが、まずは、現在の自環境で gpt-oss-20b が動作するかどうか試してみました。
https://openai.com/ja-JP/index/introducing-gpt-oss/

試した環境

  • OS: Windows11
  • CPU: i7-11700
  • Mem: 32GB（DDR4-3200）
  • GPU: NVIDIA GeForce RTX 3060 Ti 8GB
  • Ollama + gpt-oss-20b

結論

  • 本環境では、レスポンス生成が遅く使い物にならない
  • レスポンス生成中に、何もせずに待っていればレスポンスはエラーにならず出力される
  • しかし、レスポンス生成中に、別のWindowsアプリケーションを利用しているとエラーが発生し、他のアプリケーションの動作が不安定な状態になる

実際に利用中に発生したエラー

利用時のエラー

  • レスポンス生成中にWindowsアプリケーションを操作していたら発生
  • メモリ不足ですね…

エラーログの確認

  • ログディレクトリは、タスクトレイの Ollama から "View logs" を選択してディレクトリを表示
  • C:\Users\ユーザ名\AppData\Local\Ollama\app.log
    msg="chat stream error" error="an error was encountered while running the model: GGML_ASSERT(ctx->mem_buffer != NULL) failed"

    msg="chat stream error" error="model runner has unexpectedly stopped, this may be due to resource limitations or an internal error, check ollama server logs for details"

環境構築メモ

ラマのアイコンがかわいいので、Ollamaを利用します。
実際には、インストールから動作確認まで15分ぐらいで完了します。

Ollama + gpt-oss-20b のインストール

  1. https://ollama.com/ から Windows版のダウンロード
  2. OllamaSetup.exe を実行するとインストールが開始
    • ファルダ選択とかはできず、以下にインストールされる
    • C:\Users\ユーザ名\AppData\Local\Programs\Ollama
      install_1
      OllamaSetup.exe インストール中
      install_2
      必要な Runtime インストール中
      install_3
      インストール後に Ollama 画面が起動
  3. gpt-oss-20b モデルを選択して会話するとモデルのダウンロードが自動的に開始
    • デフォルト格納先は、C:\Users\ユーザ名\.ollama
    • 左メニューの Settings で "Model location" を変更できる
      install_4
      gpt-oss-20b を自動ダウンロード中
  4. レスポンス生成
    • 専用 GPU メモリ + 共有 GPU メモリ ではまだ余裕があるように見えるが…
      install_5
      レスポンスに 5.9秒…
      install_6
      タスクマネージャの状況
  5. コマンドプロンプトで確認
    > ollama --version
ollama version is 0.11.4
> ollama ps
NAME         ID            SIZE   PROCESSOR        CONTEXT  UNTIL
gpt-oss:20b  e95023cf3b7b  14 GB  57%/43% CPU/GPU  4096     2 minutes from now
  6. その他
    • スタートアップに Ollama ショートカットが登録されているので、必要ない場合は削除

必要なディスクサイズ

  • Ollama: 3.94GB - C:\Users\ユーザ名\AppData\Local\Programs\Ollama
  • gpt-oss-20b: 12.8GB - C:\Users\ユーザ名.ollama

まとめ

残念ながら、自身の現環境では快適に動作させることはできませんでした。
しかし、エンタープライズ開発においては、インターネット環境にデータが出せないセキュアな環境で生成AIを活用したいニーズがあるので、精度が良い生成AIの選択肢が増えることは非常に喜ばしいことです。

Discussion