はじめに
DifyはオープンソースのLLMアプリケーション開発プラットフォームで、WebUIを通じて簡単にLLMアプリケーションを作成できる特徴があります。
一方、Ollamaはローカル環境でLLMを動かすためのツールです。
この記事では、macOS環境でDifyをインストールし、Ollamaと連携させる方法を紹介します。
前提条件
- macOS (Ventura 13.0以降)
- Docker Desktop
- Homebrew
- Git
Difyのインストール
まずはDifyのインストールを行います。
参考ドキュメントはこちらです。
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d
Ollamaのインストール
Ollamaのインストールはこちらでダウンロードしてインストールしてください。
Difyの初期設定
http://localhost/install にアクセスして、初期設定を行います。
管理者アカウントの設定を行い、ログインまで進みます。
Ollamaとの連携
Ollamaの起動
まずはOllamaを起動します。
今回使用するモデルはllama3.1 70bです。
launchctl setenv OLLAMA_HOST "0.0.0.0" # ホストを0.0.0.0に設定
ollama run llama3.1:70b
Difyの設定
続いて、Difyの管理画面の右上のアカウントをクリックし、
設定 -> モデルプロバイダー -> Ollama を選択します。
次の画面で、下記設定項目を入力します。
- Model Name:
llama3.1 - Ollama URL:
http://localhost:11434 - Completion Model:
Completion - その他の項目はデフォルトのままでOKです。
入力が完了したら、保存をクリックします。
下記のように接続に問題があった場合、Ollama URLを http://host.docker.internal:11434 に設定してください。
An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0xffff36762e30>: Failed to establish a new connection: [Errno 111] Connection refused'))
以上でDifyとOllamaの連携が完了です。
Discussion