Windows11で対話型AIを動かす
１．はじめに
ChatGPTやCopilotなどの対話型AIは、ネットワークの接続を前提としています。必要なアプリをダウンロードすることで、オフラインの環境でも対話型AIを動かすことができます。
具体的には以下の順番で環境を設定していきます。
（１）LM Studio のダウンロード
（２）LLM（Large Language Models：大規模言語モデル＝大量のテキストデータとディープラーニング（深層学習）技術によって構築された言語モデル）のダウンロード
（３）（２）でダウンロードしたLLMを利用する。
Windows版は以下の環境で実施しました。(GPUがない場合でも動作しました。)
| OS | Windows 11 Home |
| GPU | なし |
| メモリ | 16GB |
２．１ LM Studioのダウンロード
以下のサイトにアクセスします。
「Download LM Studio for Windows」をクリックしてLM Studioをダウンロードします。（2024/10/27時点の最新版はVrt0.3.5 約630MBあります。）
ダウンロードした「LM-Studio-0.3.5-Setup.exe」を起動すると以下の画面が表示されるので、
ウィンドウ右上の「Skip Onbording」をクリックします。
２．２ LLM（大規模言語モデル）のダウンロード
２．１の続きで、LM Studioのトップ画面が表示されるので、画面上部の「Select a model to Load」をクリックします。
画面上部の虫眼鏡が表示されているエリアにダウンロードしたいLLMを入力します。
ここでは、日本語対応のLLMで「Llama-3-ELYZA-JP-8B」を使用したいと思います。
虫眼鏡が表示されているエリアに「ELYZA」と入力します。
「Llama-3-ELYZA-JP-8B-GGUF」を選択し、画面右下の「Download」をクリックします。
約4.92GBです。
ダウンロードが始まります。
ダウンロードが完了したら、Load Modelをクリックします。
２．３ ダウンロードしたLLMを利用する
[Type a message and press Enter to send ...]に文字を入力することで、AIによる対話ができるようになります。
GPUが搭載されていないPCで試しましたが、回答し始めるまでに3～7秒かかりました。
また、回答のテキストもかなりゆっくり表示します。
Discussion