<h2 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" data-line="0" class="code-line">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h2>
<p data-line="1" class="code-line">生成AIの利活用が進む中で、LLMをローカル環境で動かしたいというニーズが高まっています。本記事では、<strong>DockerとOllamaとOpen WebUIを組み合わせて、自分だけのナレッジベースを活用できるRAG環境をローカルに構築する手順</strong>を図解を交えて紹介します。</p>
<p data-line="3" class="code-line">構築する環境のイメージ図は以下です。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--f4sIppzC--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/68e54297802b1dee8603b5db.png%3Fsha%3D11e5e16fa65372246a3cc59b3bf3af41f5d4e301" width="800" class="md-img" loading="lazy"></p>
<p data-line="6" class="code-line">なお、筆者のPCは「ASUS ゲーミングノートPC：FX707VV-I7R4060A5200」（OS:Windows11、CPU：インテル Core i7-13620H プロセッサー、メモリ：16GB、ストレージ：1TB、GPU：NVIDIA GeForce RTX 4060）です。</p>
<h2 id="0.-openwebui%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B%E3%83%A1%E3%83%AA%E3%83%83%E3%83%88" data-line="9" class="code-line">
<a class="header-anchor-link" href="#0.-openwebui%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B%E3%83%A1%E3%83%AA%E3%83%83%E3%83%88" aria-hidden="true"></a> 0. OpenWebUIを使用するメリット</h2>
<p data-line="10" class="code-line">OpenWebUIを使用することで、<strong>RAGやUIを比較的小さい工数で構築</strong>できます。RAGを構築する際は通常、PDFなどの資料をデータベースに登録して、「分割」「ベクトル化」「検索の仕組みづくり」など面倒な作業が必要です。しかし、OpenWebUI なら、以下のような便利な機能を利用できます。</p>
<ul data-line="11" class="code-line">
<li data-line="11" class="code-line">PDFなどの資料をドラッグ＆ドロップするだけで登録できる</li>
<li data-line="12" class="code-line">自動で文書を小さく分けて（チャンク分割して）ベクトル化してくれる</li>
<li data-line="13" class="code-line">コレクションごとに文書をまとめて管理できる<br>
（「どの知識を使って回答するか」をコレクション単位で切り替えられて、管理が容易。）</li>
<li data-line="15" class="code-line">登録した文書を チャット画面からすぐ参照できる</li>
</ul>
<p data-line="17" class="code-line">また、同ネットワーク内でPCをクラスター構成にすることで、１台のPC上で構築したOpenWebUIのRAG環境を、HTTP通信により複数のPCで共用することも可能です。</p>
<h2 id="1.-docker%E7%92%B0%E5%A2%83%E3%82%92%E6%A7%8B%E7%AF%89%E3%81%99%E3%82%8B" data-line="20" class="code-line">
<a class="header-anchor-link" href="#1.-docker%E7%92%B0%E5%A2%83%E3%82%92%E6%A7%8B%E7%AF%89%E3%81%99%E3%82%8B" aria-hidden="true"></a> 1. Docker環境を構築する</h2>
<p data-line="21" class="code-line">記事「<a href="https://zenn.dev/stockdatalab/articles/20250519_tech_env_docker" target="_blank">【図解】Windows11でWSL2＋DockerによるPython開発環境を構築する手順</a>」の「1. WSL2でUbuntuをインストールする」「2. Docker EngineをUbuntuにインストールする」「3. VSCodeやpythonをインストールする」を参照ください。</p>
<h3 id="%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3" data-line="22" class="code-line">
<a class="header-anchor-link" href="#%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3" aria-hidden="true"></a> ここまでの完成図</h3>
<p data-line="23" class="code-line"><img src="https://res.cloudinary.com/zenn/image/fetch/s--Cda1mFdm--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/44114219af6b8ca387435768.png%3Fsha%3D9559fc77607f999712e0db8d82a0dee80c310131" width="400" class="md-img" loading="lazy"></p>
<h2 id="2.-%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%ABllm%E3%82%92%E6%89%B1%E3%81%88%E3%82%8B%E7%92%B0%E5%A2%83%E3%82%92%E6%A7%8B%E7%AF%89%E3%81%99%E3%82%8B" data-line="26" class="code-line">
<a class="header-anchor-link" href="#2.-%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%ABllm%E3%82%92%E6%89%B1%E3%81%88%E3%82%8B%E7%92%B0%E5%A2%83%E3%82%92%E6%A7%8B%E7%AF%89%E3%81%99%E3%82%8B" aria-hidden="true"></a> 2. ローカルLLMを扱える環境を構築する</h2>
<p data-line="27" class="code-line">記事「<a href="https://zenn.dev/stockdatalab/articles/20250626_tech_env_llm" target="_blank">【図解】OllamaとOpen WebUI でローカルLLMの環境構築する手順|大規模言語モデル・生成AIをDockerで動かす</a>」を参照ください。</p>
<h3 id="%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3-1" data-line="28" class="code-line">
<a class="header-anchor-link" href="#%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3-1" aria-hidden="true"></a> ここまでの完成図</h3>
<p data-line="29" class="code-line">チャット用モデルは、LlamaやELYZAを指しています。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--wxwQxhZ---/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/3bf8dab292badebdf096bbeb.png%3Fsha%3D504bd8a5927493c3538ec3846b23748862a51f5e" width="800" class="md-img" loading="lazy"></p>
<h2 id="3.-%E4%BB%BB%E6%84%8F%EF%BC%9Aembedding%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E3%82%BB%E3%83%83%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B" data-line="33" class="code-line">
<a class="header-anchor-link" href="#3.-%E4%BB%BB%E6%84%8F%EF%BC%9Aembedding%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E3%82%BB%E3%83%83%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B" aria-hidden="true"></a> 3. 任意：Embedding用モデルをセッティングする</h2>
<h3 id="3-1.-embedding%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E3%82%B3%E3%83%B3%E3%83%86%E3%83%8A%E3%81%AB%E4%B9%97%E3%81%9B%E3%82%8B" data-line="34" class="code-line">
<a class="header-anchor-link" href="#3-1.-embedding%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E3%82%B3%E3%83%B3%E3%83%86%E3%83%8A%E3%81%AB%E4%B9%97%E3%81%9B%E3%82%8B" aria-hidden="true"></a> 3-1. Embedding用モデルをコンテナに乗せる</h3>
<p data-line="35" class="code-line">RAGを行うためにはEmbedding（「意味の数値化」を行う処理）用のモデルを使います。デフォルトでは後述の画面で「sentence-transformers/all-MiniLM-L6-v2」が設定されていますが、好みのモデルを設定することもできます。必要に応じて、以下のコマンドのように、<a href="https://ollama.com/search?c=embedding" target="_blank" rel="nofollow noopener noreferrer">Ollamaのサイト</a>からEmbedding用モデル（例：nomic-embed-text:v1.5）を選択してOllamaに乗せます。</p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">Linux上で実行</span></div>
<pre class="language-shell"><code class="language-shell code-line" data-line="36">$ <span class="token function">docker</span> <span class="token builtin class-name">exec</span> ollama ollama pull nomic-embed-text:v1.5
$ <span class="token function">docker</span> <span class="token builtin class-name">exec</span> ollama ollama pull mxbai-embed-large:335m
</code></pre>
</div><h3 id="3-2.-%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8Bembedding%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E6%8C%87%E5%AE%9A%E3%81%99%E3%82%8B" data-line="40" class="code-line">
<a class="header-anchor-link" href="#3-2.-%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8Bembedding%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E6%8C%87%E5%AE%9A%E3%81%99%E3%82%8B" aria-hidden="true"></a> 3-2. 使用するEmbedding用モデルを指定する</h3>
<p data-line="41" class="code-line">Open WebUIで起動されているブラウザから、以下の通り指定します。画面上に注釈がある通り、<strong>Embedding用モデルを変更すると、後続の手順を再度行う必要があるのでご注意下さい</strong>。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--p09IqwxP--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/a827e688f207e9b62855af10.png%3Fsha%3D6e558a9d221ee360fc68446da55f9676d8b874a9" width="800" class="md-img" loading="lazy"></p>
<h3 id="%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3-2" data-line="44" class="code-line">
<a class="header-anchor-link" href="#%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3-2" aria-hidden="true"></a> ここまでの完成図</h3>
<p data-line="45" class="code-line"><img src="https://res.cloudinary.com/zenn/image/fetch/s--kgEOly33--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/1c4ff9e3108e2f1772b0beb3.png%3Fsha%3D0b0adb0b6143b4f723f603fe92f349b723069d93" width="800" class="md-img" loading="lazy"></p>
<h2 id="4.-%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B" data-line="48" class="code-line">
<a class="header-anchor-link" href="#4.-%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B" aria-hidden="true"></a> 4. ナレッジを登録する</h2>
<h3 id="4-1.-%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B%E5%A0%B4%E6%89%80%E3%82%92%E4%BD%9C%E6%88%90%E3%81%99%E3%82%8B" data-line="49" class="code-line">
<a class="header-anchor-link" href="#4-1.-%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B%E5%A0%B4%E6%89%80%E3%82%92%E4%BD%9C%E6%88%90%E3%81%99%E3%82%8B" aria-hidden="true"></a> 4-1. ナレッジを登録する場所を作成する</h3>
<p data-line="50" class="code-line">Open WebUIで起動されているブラウザから、以下の通り作成します。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--CL5FuSVe--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/5b53e56398b8a15e77821ec7.png%3Fsha%3D4f6863ead40e96d9f4f733630bf995c81eb599a1" width="800" class="md-img" loading="lazy"></p>
<h3 id="4-2.-%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B" data-line="53" class="code-line">
<a class="header-anchor-link" href="#4-2.-%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%99%BB%E9%8C%B2%E3%81%99%E3%82%8B" aria-hidden="true"></a> 4-2. ナレッジを登録する</h3>
<p data-line="54" class="code-line">4-1.で作成した場所に、ナレッジを以下の通り登録します。なお、今回は、以下の「RAG_test.txt」をナレッジとして登録しています。</p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">RAG_test.txt</span></div>
<pre class="language-txt"><code class="language-txt code-line" data-line="55">花子さんは、太郎君のことが好きです。
あやちゃんは、かほちゃんと喧嘩中です。
次郎君は、とても勉強ができます。
けん君は、スポーツがとても得意です。
</code></pre>
</div><p data-line="61" class="code-line"><img src="https://res.cloudinary.com/zenn/image/fetch/s--hTcP4MQc--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/ce461d685dd7d34676c2be98.png%3Fsha%3Dfb6ce5256b75c938edc16cdd118b0b68aa5c7412" width="800" class="md-img" loading="lazy"></p>
<h3 id="%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3-3" data-line="63" class="code-line">
<a class="header-anchor-link" href="#%E3%81%93%E3%81%93%E3%81%BE%E3%81%A7%E3%81%AE%E5%AE%8C%E6%88%90%E5%9B%B3-3" aria-hidden="true"></a> ここまでの完成図</h3>
<p data-line="64" class="code-line"><img src="https://res.cloudinary.com/zenn/image/fetch/s--vDJMTWcq--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/16ca4a47f0a5e70c54b99de1.png%3Fsha%3Dda65b4d95dc688930fad11cb7f4ed8495e2062d1" width="800" class="md-img" loading="lazy"></p>
<h2 id="5.-%E3%83%81%E3%83%A3%E3%83%83%E3%83%88%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%B9%8B%E3%81%92%E3%82%8B" data-line="67" class="code-line">
<a class="header-anchor-link" href="#5.-%E3%83%81%E3%83%A3%E3%83%83%E3%83%88%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%82%92%E7%B9%8B%E3%81%92%E3%82%8B" aria-hidden="true"></a> 5. チャット用モデルとナレッジを繋げる</h2>
<p data-line="68" class="code-line">Open WebUIで起動されているブラウザから、以下の通り設定して繋げます。なお、Enbedding用モデルは、3.の手順を実行した時点で自動的にチャット用モデルと繋がるようになります。<br>
 ④：モデル名は任意の名前を設定<br>
 ⑤：使用したいチャット用モデルを指定<br>
 ⑥：任意の説明を記入<br>
 ⑦：4.の手順で作成したナレッジを選択<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--XYRJSAf9--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/31561fc09b2471e0762c7d06.png%3Fsha%3D6db56f8995f702268ce6e615919d63971b4f4a40" width="800" class="md-img" loading="lazy"></p>
<h3 id="%E5%AE%8C%E6%88%90%E5%9B%B3" data-line="75" class="code-line">
<a class="header-anchor-link" href="#%E5%AE%8C%E6%88%90%E5%9B%B3" aria-hidden="true"></a> 完成図</h3>
<p data-line="76" class="code-line"><img src="https://res.cloudinary.com/zenn/image/fetch/s--f4sIppzC--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/68e54297802b1dee8603b5db.png%3Fsha%3D11e5e16fa65372246a3cc59b3bf3af41f5d4e301" width="800" class="md-img" loading="lazy"></p>
<h2 id="6.-%E5%8B%95%E4%BD%9C%E7%A2%BA%E8%AA%8D%E3%81%99%E3%82%8B" data-line="79" class="code-line">
<a class="header-anchor-link" href="#6.-%E5%8B%95%E4%BD%9C%E7%A2%BA%E8%AA%8D%E3%81%99%E3%82%8B" aria-hidden="true"></a> 6. 動作確認する</h2>
<p data-line="80" class="code-line">Open WebUIで起動されているブラウザから、5.の手順で作成したモデルを選択します。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--a8DlDPCx--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/f705e94ca0d91f4adf245478.png%3Fsha%3D407feab076156d87ae8ad63695ecb24a3eaa1142" width="800" class="md-img" loading="lazy"><br>
登録した「RAG_test.txt」の内容について質問してみると、ちゃんとナレッジの内容に沿った回答が返ってきます。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--CC77wg5T--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/6290486ba9dcaa4a360ea7ef.png%3Fsha%3Dd98c371fd7c0a2c3d2ab2cfd4c3e953274f543d2" width="800" class="md-img" loading="lazy"></p>
<h2 id="%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB" data-line="86" class="code-line">
<a class="header-anchor-link" href="#%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB" aria-hidden="true"></a> おわりに</h2>
<p data-line="87" class="code-line">本記事では、OllamaとOpen WebUIを使って、ローカル環境でRAGを構築する手順を紹介しました。これにより、ローカルPC上で自前のナレッジベースを活用した対話型AIシステムを構築することができ、プライバシーの確保やオフライン動作といった大きな利点があります。</p>
<p data-line="89" class="code-line">ローカルでの生成AI活用は、個人でも十分手が届く時代になってきました。まずは手元の環境でRAGを動かしてみるところから、ぜひ生成AI活用の第一歩を踏み出してみてください。</p>


【図解】OllamaとOpenWebUI でローカルLLMのRAG環境を構築する手順|RAGをDockerで動かす

2. ローカルLLMを扱える環境を構築する

3-1. Embedding用モデルをコンテナに乗せる

3-2. 使用するEmbedding用モデルを指定する

3. 任意：Embedding用モデルをセッティングする

4-1. ナレッジを登録する場所を作成する

5. チャット用モデルとナレッジを繋げる

Discussion