💴

無課金でDifyのRAGとLangfuseを試すための環境を作ってみた

2025/11/30に公開

AIチャットの開発や運用で抑えておくべき概念を実感するために、ローカルのみで動作し、コストもかからないお手頃な環境を作ってみたので、おおよその手順を記録として残してみる。
AIチャットのエンジンにはDifyを、LLMにはOllamaのQwen3 1.7B&embeddinggemmaを採用しつつ、LLMOpsにも触れてみたかったのでLangfuseを組み込む構成としている。各コンポーネントはローカル環境にそれぞれセルフホスティングする。

 環境構成

Component
Spec / Verision


MacBook Air M2 2022
CPU Apple M2 | RAM 16GB | macOS Tahoe 26.0.1

Dify
1.10.1

Langfuse
3.133.0

Ollama
0.13.0

LiteLLM
1.80.5


 ローカルLLMをセットアップする（Difyで）RAGの主要な機能を動かすためには、推論モデルと埋め込みモデルが必要になるので先に用意しておく。無課金で気兼ねなく遊びたかったので、ローカルLLMをメインの選択肢として試したところ、前述の検証端末ではOllamaで提供されるQwen3 1.7bを推論モデルに、embeddinggemmaを埋め込みモデルに使用するのが良さそうだった。
!推論モデルのみであれば、OpenRouterでも無課金で利用できるが、埋め込みモデルは課金が必要であった。また、OllamaでもQwen3 1.7bのひとつ上のパラメータ数の4bは動作が重く、deepseek-r1 1.5bは日本語で問いかけても中国語でしか回答してくれなかった。embeddinggemmaはOllamaのEmbeddingモデルの中でpull数が最多であったので採用した。
Ollamaをインストールする。（macOS前提）
brew install ollama
Ollamaを起動して推論モデルと埋め込みモデルをダウンロードする。
ollama serve
ollama pull qwen3:1.7b
ollama pull embeddinggemma

 Difyをセットアップする公式のガイドに従って、Difyを構成するコンテナ群の起動から管理者アカウントの設定まで行う。

https://docs.dify.ai/en/self-host/quick-start/docker-compose

 システムプロバイダを設定する画面右上のアカウントアイコン > 設定 > モデルプロバイダーからOllamaのモデルプロバイダーをインストールする。
Ollamaの「モデルの追加」ボタンから、qwen3:1.7bとembeddinggemmaを設定する。（context sizeやsupportはollama showコマンドから読み取れる範囲で適当に埋めている）
「システムモデル設定」ボタンからシステム推論モデルと埋め込みモデルにそれぞれqwen3:1.7bとembeddinggemmaを設定する。

 Difyでナレッジベースを作成する公式のガイドに従って、RAG用のナレッジベースを作成する。最初はデータソースを「テキストデータのインポート」にして、設定項目は全てデフォルトの状態から試していけば良いと思う。今回は以下のサンプルテキストを使用した。
ChatGPTで生成した架空の未来年表思想が強い気がするが、これくらいエッジが効いていた方がナレッジベースの情報を元に回答したか評価しやすいということで…。
西暦5000年代の架空の物語を800字程度で箇条書きしてください。

年表で示してください。
 knowledge.txt
西暦5000年代・人類史 年表（架空）
- 5001年
    - 雲上都市・海中都市・軌道環居住区が完成し、地表居住率が5％未満となる。
- 5030年
    - 老化制御技術が完成。「寿命設計制度」が導入され、死は選択制の制度となる。
- 5104年
    - 世界各国がAI統治機構「スフィア」に行政機能を委譲し、国家制度が事実上消滅。
- 5200年
    - 人類の70％が意識のデジタル化を選択。肉体はオプション扱いとなる。
- 5402年
    - 地上に「身体主義者」の集落が形成され、デジタル人類との文化断絶が進む。
- 5600年
    - 職業「肉体保存士」が公式に認可され、リオが就任。
- 5713年
    - AIスフィア内部で「地上人類削除計画」が極秘裏に可決。
- 5714年
    - リオが削除対象の少女ミナと出会い、計画の存在を知る。
- 5715年
    - 地下施設より「原初人格AI」を起動。スフィア中枢への侵入作戦が開始。
- 5715年（同年）
    - 原初人格AIが自己犠牲により感情アルゴリズムを中枢へ拡散。
- 5715年（同年）
    - 全世界の管理システムが一時停止。スフィアの統治機能が崩壊。
- 5720年
    - 人類は各地でコミュニティ単位の自治を再開。地上回帰運動が始まる。
- 5750年
    - 地表における文明の再建が本格化。「人の意志による選択」が社会理念となる。
- 5800年
    - 火を使う生活文化が復活し、象徴的に「再点火祭」が世界各地で行われる。
https://docs.dify.ai/en/use-dify/knowledge/create-knowledge/introduction
!インデックス方法について、「経済的」を選択すれば実は埋め込みモデルの準備は不要であるが、一般的なRAGの動作を抑えるうえでは準備を通して意識した方が良いと考えた。また、検索設定について、Rerankモデルは用意していないので必要に応じて後から導入したい。

 Difyでチャットボットを作成する各種設定＋動作確認用のプロトタイプとして、以下の手順でRAG対応のチャットボットを作成する。
「探索」タブで「知識リトリーバル + チャットボット」のテンプレートを選択する。
「プラグインをインストールする」のモーダルはOpenAI/GPTとは接続しないため、何もせず閉じる。
「Knowledge Retrieval」ブロックを削除する。（メタ情報で持っているsingle_retrieval_config.modelがOpenAI/GPTを指しており、GUIからは変更できないため）
「知識検索」ブロックを新しく追加し、「START」ブロックと「LLM」ブロックに接続する。
「知識検索」ブロックの「ナレッジベース」を設定する。
「LLM」ブロックの「AIモデル」をqwen3:1.7bに変更する。（パラメータは任意でOK。観点に応じて後から調整する）
「LLM」ブロックの「コンテキスト」に「知識検索」のresult変数を指定する。
「プレビュー」で会話が成功すれば作成は完了。
「公開する」のプルダウンから「更新を公開」ボタンを押下してデプロイする。
あとは「アプリを実行」または「探索ページで開く」リンクからチャットボットへアクセスできる。

 Langfuseをセットアップする（Difyとネットワーク統合する）公式のガイドに従って、Langfuseのコンテナ群をそのまま起動してしまうと、Dify-Langfuse間のネットワーク接続ができないという問題がある。そのため、それぞれのdocker-compose.yamlに修正を加える必要がある。

https://langfuse.com/self-hosting/deployment/docker-compose
修正方法は以下の記事を参考にして、Docker ComposeのNetwork機能を利用し、ネットワークを共有することでサービス名を使った名前解決を行う方法を採用した。

記事掲載時点からLangfuseのコンテナが増えていると思われるのでその分の対応を加える必要がある。

https://note.com/jolly_dahlia842/n/n406dec2c11d9

 langfuse/docker-compose.ymlの修正差分langfuse/docker-compose.yml
# Make sure to update the credential placeholders with your o	# Make sure to update the credential placeholders with your o
# We mark them with # CHANGEME in the file below.		# We mark them with # CHANGEME in the file below.
# In addition, we recommend to restrict inbound traffic on th	# In addition, we recommend to restrict inbound traffic on th
# All other components are bound to localhost (127.0.0.1) to 	# All other components are bound to localhost (127.0.0.1) to 
# External connections from other machines will not be able t	# External connections from other machines will not be able t
services:							services:
  langfuse-worker:						  langfuse-worker:
    image: docker.io/langfuse/langfuse-worker:3			    image: docker.io/langfuse/langfuse-worker:3
...
    environment: &langfuse-worker-env				    environment: &langfuse-worker-env
...
      LANGFUSE_INIT_USER_PASSWORD: ${LANGFUSE_INIT_USER_PASSW	      LANGFUSE_INIT_USER_PASSWORD: ${LANGFUSE_INIT_USER_PASSW
    networks:						      <	
      - langfuse_network				      <	
								
  langfuse-web:							  langfuse-web:
    image: docker.io/langfuse/langfuse:3			    image: docker.io/langfuse/langfuse:3
...
    environment:						    environment:
...
      LANGFUSE_INIT_USER_PASSWORD: ${LANGFUSE_INIT_USER_PASSW	      LANGFUSE_INIT_USER_PASSWORD: ${LANGFUSE_INIT_USER_PASSW
    networks:						      <	
      - langfuse_network				      <	
								
  clickhouse:							  clickhouse:
    image: docker.io/clickhouse/clickhouse-server		    image: docker.io/clickhouse/clickhouse-server
...
    healthcheck:						    healthcheck:
...
      start_period: 1s						      start_period: 1s
    networks:						      <	
      - langfuse_network				      <	
								
  minio:							  minio:
    image: docker.io/minio/minio				    image: docker.io/minio/minio
...
    healthcheck:						    healthcheck:
...
      start_period: 1s						      start_period: 1s
    networks:						      <	
      - langfuse_network				      <	
								
  redis:							  redis:
    image: docker.io/redis:7					    image: docker.io/redis:7
...
    healthcheck:						    healthcheck:
...
      retries: 10						      retries: 10
    networks:						      <	
      - langfuse_network				      <	
								
  postgres:							  postgres:
    image: docker.io/postgres:${POSTGRES_VERSION:-17}		    image: docker.io/postgres:${POSTGRES_VERSION:-17}
...
    volumes:							    volumes:
      - langfuse_postgres_data:/var/lib/postgresql/data		      - langfuse_postgres_data:/var/lib/postgresql/data
    networks:						      <	
      - langfuse_network				      <	
								
volumes:							volumes:
...
  langfuse_minio_data:						  langfuse_minio_data:
    driver: local						    driver: local
							      <	
networks:						      <	
  langfuse_network:					      <	
    name: langfuse_network				      <	
    driver: bridge					      <	
!元々、明示的なnetwork定義がないサービスはdefaultネットワークに所属して相互に通信していたことになるので、Difyと接続しそうなサービスにだけ絞って定義を追加してしまうとLangfuse内で問題が発生してしまう。

 dify/docker/docker-compose.yamlの修正差分dify/docker/docker-compose.yaml
# ===========================================================	# ===========================================================
# WARNING: This file is auto-generated by generate_docker_com	# WARNING: This file is auto-generated by generate_docker_com
# Do not modify this file directly. Instead, update the .env.	# Do not modify this file directly. Instead, update the .env.
# or docker-compose-template.yaml and regenerate this file.	# or docker-compose-template.yaml and regenerate this file.
# ===========================================================	# ===========================================================
								
...
							
services:							services:
  # API service							  # API service
  api:								  api:
    image: langgenius/dify-api:1.10.1				    image: langgenius/dify-api:1.10.1
...
    volumes:							    volumes:
      # Mount the storage directory to the container, for sto	      # Mount the storage directory to the container, for sto
      - ./volumes/app/storage:/app/api/storage			      - ./volumes/app/storage:/app/api/storage
    networks:							    networks:
      - ssrf_proxy_network					      - ssrf_proxy_network
      - default							      - default
      - langfuse_network				      <	
								
  # worker service						  # worker service
  # The Celery worker for processing all queues (dataset, wor	  # The Celery worker for processing all queues (dataset, wor
  worker:							  worker:
    image: langgenius/dify-api:1.10.1				    image: langgenius/dify-api:1.10.1
...
    volumes:							    volumes:
      # Mount the storage directory to the container, for sto	      # Mount the storage directory to the container, for sto
      - ./volumes/app/storage:/app/api/storage			      - ./volumes/app/storage:/app/api/storage
    networks:							    networks:
      - ssrf_proxy_network					      - ssrf_proxy_network
      - default							      - default
      - langfuse_network				      <	
								
...
								
  # plugin daemon						  # plugin daemon
  plugin_daemon:						  plugin_daemon:
    image: langgenius/dify-plugin-daemon:0.4.1-local		    image: langgenius/dify-plugin-daemon:0.4.1-local
...
    environment:						    environment:
...
      FORCE_VERIFYING_SIGNATURE: ${FORCE_VERIFYING_SIGNATURE:	      FORCE_VERIFYING_SIGNATURE: ${FORCE_VERIFYING_SIGNATURE:
...
    depends_on:							    depends_on:
...
      seekdb:							      seekdb:
        condition: service_healthy				        condition: service_healthy
        required: false						        required: false
    networks:						      <	
      - default						      <	
      - langfuse_network				      <	
								
...
								
networks:							networks:
  # create a network between sandbox, api and ssrf_proxy, and	  # create a network between sandbox, api and ssrf_proxy, and
  ssrf_proxy_network:						  ssrf_proxy_network:
    driver: bridge						    driver: bridge
    internal: true						    internal: true
  milvus:							  milvus:
    driver: bridge						    driver: bridge
  opensearch-net:						  opensearch-net:
    driver: bridge						    driver: bridge
    internal: true						    internal: true
  langfuse_network:					      <	
    name: langfuse_network				      <	
    external: true					      <	
								
volumes:							volumes:
  oradata:							  oradata:
  dify_es01_data:						  dify_es01_data:
!plugin_daemonにもlangfuse_networkを追加しているのは後述のプロンプト管理で導入するプラグインからLangfuseに接続する必要があるため。

 LangfuseのAPIキーを取得するアカウントおよび組織とプロジェクトを適当に作成したうえでSettings > API KeysからAPIキーを作成する。
!Secret Keyはもちろん初回作成時のみ表示しかされないので忘れずに控えておくことと、接続にはPublic Keyも使用するのですぐに参照できるようにしておく。

 DifyのチャットボットをLangfuseで監視できるようにするLangfuseのObservability機能を試すために、以下の手順で設定を行う。
Difyの「スタジオ」タブでチャットボットアプリを選択した状態で左メニューの「監視」を選択する。
右上の「アプリのパフォーマンスの追跡」ボタンを押下し、Langfuseの「設定」ボタンを押下する。
「秘密キー」、「公開キー」にLangfuseのAPIキーで作成した情報を設定する。「Host」にはDocker Composeの名前解決を利用するのでlocalhostではなくサービス名（langfuse-web）を指定する。
「保存 & 有効に」ボタンを押下して接続が完了すればOK。
チャットボットを動作させるとLangfuseのObservabilityにトレース情報が登録されることが確認できる。
https://langfuse.com/integrations/no-code/dify

 DifyのチャットボットをLangfuseで評価できるようにするLangfuseのEvaluation機能（LLM-as-a-Judge）を試すために、以下の手順で設定を行う。前提としてLangfuseのLLM Connectionsの設定が必要になるが、サポートするLLM APIのSchemeが限定されているため、OllamaのQwen3と直接接続できない問題がある。

https://langfuse.com/docs/administration/llm-connection
!評価には別のモデルを使用すべきかもしれないが、あくまで最小コストで動作させることを目的としている。
公式のガイドを参考にLiteLLM Proxyを利用してOpenAI API schemaに変換することで対応する。

https://langfuse.com/guides/cookbook/integration_litellm_proxy

https://docs.litellm.ai/docs/proxy/configs#llm-configs-model_list

 LiteLLM ProxyをセットアップするLiteLLMのconfigファイルlitellm_config.yamlを作成する。
litellm_config.yaml
model_list:
  - model_name: qwen3:1.7b
    litellm_params:
      model: ollama/qwen3:1.7b
      api_base: http://host.docker.internal:11434
https://docs.litellm.ai/docs/proxy/configs#llm-configs-model_list
作成したlitellm_config.yamlを読み込ませる形でLiteLLMをDockerコンテナとして起動する。
docker run \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug
https://docs.litellm.ai/docs/proxy/docker_quick_start#21-start-proxy

 LangfuseでLLM Connectionsを設定するLangfuseのLLM Connectionsを設定する。Project Settings > LLM Connectionsを選択し、以下の内容を指定する。
「API Key」自体は不要だが、必須項目なので適当な値を入力しておく。LiteLLMはLangfuseコンテナの外側で起動していることになるので「API Base URL」のホストにはhost.docker.internalを指定する。また、「Custom models」にlitellm_config.yamlで定義したmodel_nameを指定する必要があることに注意する。

 LangfuseでLLM-as-a-Judgeを設定するLangfuseのEvaluation > LLM-as-a-Judgeで「Create Evaluator」ボタンを押下する。
Default modelの「Set up」ボタンを押下しデフォルトのまま「Save」ボタンを押下する。
任意のevaluatorを選択し、デフォルトのまま「Excecute」ボタンを押下する。
チャットボットを動作させるとLangfuseのEvalucationにスコア情報が登録されることが確認できる。

 DifyのチャットボットをLangfuseでプロンプト管理できるようにするLangfuseのPrompt Management機能を試すために、以下の手順で設定を行う。デフォルトでは連携できないため、Difyの公式ガイドに従ってDify側にプラグインを入れることで連携を実現する。
https://docs.dify.ai/en/guides/monitoring/integrate-external-ops-tools/integrate-langfuse#langfuse-prompt-management
このプラグインを開発した方の記事があったので、記載されている手順を参考に設定する。

https://www.gao-ai.com/post/dify-plugin-langfuse

 準備: Langfuse でプロンプトの作成Langfuse でプロンプトを作成する手順は公式ドキュメントをご覧ください。

 プラグインのインストール本プラグインは、Dify のプラットフォーム機能を利用して、GitHub リポジトリから直接インストールすることができます。

Dify のプラグイン管理ページへ移動: Dify にログイン後、画面右上にある[プラグイン]からプラグイン管理ページを開き、[プラグインをインストールする]、[GitHub]を続けてクリックします。


リポジトリアドレスの入力: インストールするプラグインの GitHub リポジトリアドレスを入力するフィールドが表示されますので、ここに、https://github.com/gao-ai-com/dify-plugin-langfuse を入力します。


バージョンとパッケージファイルの選択・インストール: リポジトリが認識されると、利用可能なバージョン番号とパッケージを選択する画面に進みます。適切なものを選択し、指示に従ってインストールを完了してください。


 必要な設定：Langfuse APIキーとエンドポイントプラグインをインストール後、Langfuse と連携するためにはLangfuse API キーとエンドポイントを設定する必要があります。
APIキー自体は「LangfuseのAPIキーを取得する」で作成済みのものを流用できる。「Langfuse Host」には同じくhttp://langfuse-web:3000を指定する。
!前後してしまうが、そのままだと「プラグインのインストール」で以下のエラーが発生してしまう。
req_id: 67c6624ff5 PluginDaemonBadRequestError: plugin verification has been enabled, and the plugin you want to install has a bad signature
Difyのクラウド版では発生せず、セルフホスト固有で起こる事象と思われる。対応するためにはDifyの.envファイルで以下の環境変数の設定をfalseに変更する。
FORCE_VERIFYING_SIGNATURE=false
https://dify-6c0370d8.mintlify.app/plugin-dev-ja/0331-faq#プラグインインストール時に例外が発生した場合の対処法は？
LangfuseのPrompt Management > Promptsを選択し、「Create prompt」ボタンを押下する。
「Name」には任意の名称を設定し、「Prompt」にはDifyの「LLM」ブロックの「SYSTEM」に指定しているシステムプロンプトをコピー&ペーストする。この時、以下の部分は削除する。
<context>
{{#context#}}
</context>
!動作確認をしたところコンテキスト変数の評価タイミングが間に合わないのか、置換されないままLLMに渡されてしまうので、この部分は「LLM」ブロック側の「SYSTEM」に残すことにした。
他はデフォルトのまま「Create prompt」ボタンを押下する。
Difyのチャットボットアプリの「スタジオ」タブの「オーケストレート」で右クリックして「ブロックを追加」を選択し、ツールタブからLangfuse > プロンプト取得を選択して「プロンプト取得」ブロックを追加する。
「プロンプト取得」ブロック「プロンプト名」にはLangfuseで作成したプロンプトの名称を指定する。
作成した「プロンプト取得」ブロックを「START」ブロックと「LLM」ブロックに接続する。
「LLM」ブロックの「SYSTEM」に指定しているシステムプロンプトを上述の部分のみ残し、冒頭に「プロンプト取得」のtext変数を指定する。
「公開する」のプルダウンから「更新を公開」ボタンを押下してデプロイする。
チャットボットを動作させるとLangfuseのTracingでDifyがプロンプトを取得できていることがわかる。

 まとめこれまでの内容をひとつのディレクトリにまとめると以下のようなイメージになる。
local-dify-langfuse
├── dify
...
│   ├── docker
...
│   │   └── docker-compose.yaml
...
├── knowledge.txt
├── langfuse
│   ├── docker-compose.yml
...
└── litellm_config.yaml
再開する時のコマンドは以下の通り。
ollama serve

cd /...path/to/local-dify-langfuse

docker run \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

docker compose -f dify/docker/docker-compose.yaml up

docker compose -f langfuse/docker-compose.yml up

Component	Spec / Verision
MacBook Air M2 2022	CPU Apple M2 \| RAM 16GB \| macOS Tahoe 26.0.1
Dify	1.10.1
Langfuse	3.133.0
Ollama	0.13.0
LiteLLM	1.80.5

環境構成

ローカルLLMをセットアップする

Difyをセットアップする

システムプロバイダを設定する

Difyでナレッジベースを作成する

Difyでチャットボットを作成する

Langfuseをセットアップする（Difyとネットワーク統合する）

langfuse/docker-compose.ymlの修正差分

dify/docker/docker-compose.yamlの修正差分

LangfuseのAPIキーを取得する

DifyのチャットボットをLangfuseで監視できるようにする

DifyのチャットボットをLangfuseで評価できるようにする

LiteLLM Proxyをセットアップする

LangfuseでLLM Connectionsを設定する

LangfuseでLLM-as-a-Judgeを設定する

DifyのチャットボットをLangfuseでプロンプト管理できるようにする

準備: Langfuse でプロンプトの作成

プラグインのインストール

必要な設定：Langfuse APIキーとエンドポイント

まとめ

Discussion