10分で動かすローカルLLMとRAG（Mac×Docker×Dify）

はじめに

ただのフロントエンドエンジニアがDeepSeekをMacで動かした備忘録です。
以前の記事の続編となります。
Difyのナレッジ機能を用いて、RAGのようなシステムを作っていきます。

実行環境

• Mac mini M4チップ 32GBメモリ
• macOS Sequoia 15.3.1

事前準備

1. Difyのインストールと起動

2. チャットボットを作成済みで、ローカルLLMが動く状態までセットアップ

3. 「インデックス方法」は推奨のものにするために、下記コマンドを実行し、以前の投稿と同じ方法でEmbedding model（埋め込みモデル）を取り込む

   ollama pull nomic-embed-text
   

ナレッジの設定手順

1. 「ナレッジを作成」ボタンを押す
2. 事前に準備したファイルをテキストファイルをアップロード

   今回は検証のため、自分が雑にまとめている記事をいれてみます。
   どのようなフォーマットがよいかについては今後検証して解を見つけていこうと考えております。

3. 一旦検証のため、デフォルト状態で「保存して処理」ボタンを押す

   「インデックス方法」が推奨値の「高品質」になっているかは要確認（埋め込みモデルの登録があるか否かによってデフォルト値が変わるらしい）

4. インデックス化のため、少し時間を待つ
5. チャットボットのコンテキストで「追加」を押し、先ほど作成したナレッジを選択する

感想

全然ナレッジがヒットしなかったです。
日本語に適した埋め込みモデルを利用していないのが問題かもしれません。
次は、HuggingFaceからLLMとEmbedding Modelを取得して、そちらで性能向上してみます。