10分で動かすローカルLLM（Mac×Dify×Ollama×DeepSeek編）

はじめに

ただのフロントエンドエンジニアがDifyとOllamaを用いてDeepSeekをローカルLLMとして動かした備忘録です。

実行環境

• Mac mini M4チップ 32GBメモリ
• macOS Sequoia 15.3.1

事前準備

1. Difyのインストールと起動
2. Ollamaのインストールと起動

インストール方法は以前の記事を参考にしてください。
Difyをhttp://localhost:80、Ollamaをhttp://localhost:11434でアクセスできる想定で記述します。

ローカルLLM導入手順

1. 「最初から作成」をクリック
2. 「チャットボット」を選択し、に任意の名前・アイコン・説明を追加する
3. 「設定に移動」をクリックし、モデルプロバイダーで「Ollama」を選択する

   デフォルトでは、LLMプロバイダーキーが設定されておらず、警告文が表示されます。

4. 下記を設定し、保存ボタンを押す
   1. Model Name: deepseek-r1:32b

   他のモデルを動かしている場合は、適宜変更してください。

   1. Base URL: http://host.docker.internal:11434

   DifyをDockerコンテナ内、Ollamaをネイティブアプリとして動かしているため、host.docker.internalを利用する。

5. 画面をリロード

   選択されたLLMのモデルがOpenAIの場合は、一度アプリを削除し、再度作成すると直る場合がある。

実行結果

右側に出てくるチャットボットで実行を確認。

感想

GUIで簡単にチャットボットが作成できるのは驚きだった。

次回はRAGをつくってみようと思う。