macOS上でDifyをインストールしてOllamaと連携する

はじめに

DifyはオープンソースのLLMアプリケーション開発プラットフォームで、WebUIを通じて簡単にLLMアプリケーションを作成できる特徴があります。
一方、Ollamaはローカル環境でLLMを動かすためのツールです。
この記事では、macOS環境でDifyをインストールし、Ollamaと連携させる方法を紹介します。

前提条件

• macOS (Ventura 13.0以降)
• Docker Desktop
• Homebrew
• Git

Difyのインストール

まずはDifyのインストールを行います。
参考ドキュメントはこちらです。

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

Ollamaのインストール

Ollamaのインストールはこちらでダウンロードしてインストールしてください。

Difyの初期設定

http://localhost/install にアクセスして、初期設定を行います。

管理者アカウントの設定を行い、ログインまで進みます。

Ollamaとの連携

Ollamaの起動

まずはOllamaを起動します。
今回使用するモデルはllama3.1 70bです。

launchctl setenv OLLAMA_HOST "0.0.0.0" # ホストを0.0.0.0に設定
ollama run llama3.1:70b

Difyの設定

続いて、Difyの管理画面の右上のアカウントをクリックし、
設定 -> モデルプロバイダー -> Ollama を選択します。

次の画面で、下記設定項目を入力します。

• Model Name: llama3.1
• Ollama URL: http://localhost:11434
• Completion Model: Completion
• その他の項目はデフォルトのままでOKです。

入力が完了したら、保存をクリックします。

下記のように接続に問題があった場合、Ollama URLを http://host.docker.internal:11434 に設定してください。

An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0xffff36762e30>: Failed to establish a new connection: [Errno 111] Connection refused'))

以上でDifyとOllamaの連携が完了です。