DifyとOllamaをWSL2が利用できないWindows環境で動かす

Difyをローカルで動作させる方法はいくつかありますが、今回は少し限定的な環境で動作させたかったので
Windowsかつ、WSL2が利用できないWindows環境でDifyを動作させる手順について記載します。

環境

• Windows 11 Pro
• Virtual Box (Ubuntu)
• MEM 32GB

デメリット

Windows PCにGPUが搭載されていても、LLMはCPU 動作となってしまう。

Virtual Boxのインストール

https://www.virtualbox.org/

Virtual Box 7.0をインストールしておきます。

Ubuntu 22.04.4 LTSイメージのダウンロード

https://releases.ubuntu.com/jammy/

Ubuntu 22.04.4 LTS (Jammy Jellyfish)のデスクトップ版のイメージをダウンロードし、
Virtual Boxからインストールします。

Virtual BoxからUbuntuを起動します

インストールが終わったらUbuntuを起動します。

ターミナルが起動しなかったので、alt + ctrl + F3を押下して仮想ターミナルを起動
localeファイルを編集します。

vi /etc/default/locale

(修正前)
LANG="en_US"

(修正後)
LANG="en_US.UTF-8"

reboot

編集後、再起動するとターミナルが起動できるようになります。

Difyのインストール

docker を利用するのでdockerをインストールします

snap install docker

gitでクローンします

git clone https://github.com/langgenius/dify.git

ディレクトリを変更し、設定ファイルを作成、dockerを起動します。

cd dify/docker
cp .env.example .env
docker compose up -d

Ollamaのインストール

Ollamaをインストールします

curl -fsSL https://ollama.com/install.sh | sh

ollama run llama2

Difyに登録する際にエラーになるので設定を変えます。

systemctl edit ollama.service

各環境変数について、[Service] セクションの下に Environment 行を追加します

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Ollamaを再起動します

systemctl daemon-reload
systemctl restart ollama

DifyからOllamaを追加する

右上のログインユーザー名>Settings>Model ProviderからOllamaを選択

次のように設定しました。

Base URLは、dockerが起動しているIPアドレスに変更してください。

確認方法は、ubuntu>Network Connections>docker0のアドレスです

チャットの作成

動作確認としてチャットを作成します。

Dify > Studio > Create from Blank > Chatbot

Instructionsにチャットの役割を記述します。