🧭

LLLMのススメ

2024/05/22に公開

LLM

生成 AI

tech

はじめに

Local PC環境でLLMモデルを動かしましょうという記事です。
LLLMは勝手に作った造語です。Local LLMのことです。
すぐに試したい方は、LM Studioのインストールから参照してください。
この記事の内容は、2024/05/21時点のものです。

LLMとは

今更な気もするけど、簡単に。
LLMとはlarge language modelのことで日本語で大規模言語モデルと呼ばれるものです。
ざっくり言うと、大量のテキストを学習したことで、文章をうまく紡いでくれるものです。
研究は古くからあったのですが、ChatGPTが登場して話題になりました。
詳しくはWikipedia等を参照してください。

多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習（英語版）によって訓練が行われる。
大規模言語モデル - Wikipedia

試したLLMモデル

この記事で試したLLMモデルは以下のものです。

Meta-Llama-3-8B-Instruct (Meta)
microsoft/Phi-3-mini-4k-instruct (Microsoft)
ELYZA-japanese-Llama-2-7b-fast-instruct (株式会社ELYZA)
※イライザと読みます。Llama2をベースに追加で日本語を学習したLLMモデルです。
llama-3-youko-8b (rinna株式会社)
※2024/05/18時点で、Youko 8Bのページがなかったので、リンクはYouri 7Bのものです。名前から察するにLlama3をベースにしているのでしょう。

上記のモデルはすべてHugging Faceからダウンロード可能です。
先日、発表されたFugaku-LLMもHugging Faceにあります。
Hugging Face – The AI community building the future.

動作環境

OS:Windows11 Pro
GPU:NVIDIA GeForce RTX 3060 Laptop(メモリ 6GB)
Tool:LM Studio 0.2.23

LM Studioのインストール

LM Studioというツールを使用します。
Local PCにダウンロードしたLLMモデルを動かすためのものです。
下記からダウンロードします。
LM Studio - Discover, download, and run local LLMs

LM-Studio-0.2.23-Setup.exe をダウンロードして、インストールします。
Windowsだとファイルを実行するだけですね。

起動すると下記のようなhome画面が表示されます。
LM Studio 起動

モデルのダウンロード

モデルは簡単にダウンロードできます。

「Download」ボタンでダウンロード

LM-Studioのhome画面を下にスクロールするといくつかLLMモデルが表示されます。
欲しいLLMモデルの「Download」をクリックするとダウンロードが開始されます。
Meta社のLlama3をダウンロードする場合は、下図の「Download」をクリックするだけです。
ファイルサイズも表示されているので空き容量・GPUメモリと相談してください。
Llama3 Download
ダウンロードが完了すると、下図の画面のようになります。
Llama3 Download OK

検索してダウンロード

表示されていないLLMモデルは、検索してダウンロードできます。
home画面の検索窓にキーワードを入力して、「Go」ボタンをクリックします。
keyword
Search画面に移って、検索結果が表示されます。
ここで欲しいLLMモデルの「Download」をクリックするとダウンロードが開始されます。
Download!

日本語を扱えるLLMモデルのダウンロード

日本語を扱えるLLMモデルが欲しいので「ELYZA-japanese-Llama-2-7b-fast-instruct」と「llama-3-youko-8b」をダウンロードします。
ELYZAのLLMモデルは「ELYZA」で検索して、「ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf」をダウンロードしました。
ELYZA LLM
RinnaのLLMモデルは「youko」で検索して、「rinna-llama-3-youko-8b-IQ4_XS.gguf」をダウンロードしました。
youko LLM

動作開始

いよいよLLMモデルで遊びます!
AI Chat画面に移ります。
左に並んでいるフキダシみたいな「AI Chat」アイコンをクリックします。

AI Chat画面です。
使用するLLMモデルを選択するために、画面上部の「Select a model to load」をクリックします。
AI Chat

ダウンロードしたLLMモデルが表示されるので、使用したいLLMモデルをクリックします。
LLM model load

モデルがロードされると下図の様になります。ここではLlama3をロードしました。
LLM model load OK
あとは、画面下部の「Enter a user message ...」に質問等を入力するだけです。
message

LLMモデルを試した

LLMモデルを初使用する時はいつも下記の質問しています。

あなたは誰ですか?
あなたは誰に作られましたか?

今回も同様に質問をしました。LLMモデル毎の結果は以下です。
※ちなみに同じ質問をしても、同じ返答が返ってくるとは限らないです。

Llama3 LLMモデルの返答

日本語で答えてくれませんでした。しかし内容は通じているようです。
Llama3 response
お願いしたら、日本語で答えてくれました。
Llama3 response JA

Phi3 LLMモデルの返答

日本語で返してくれました。日本国のAIですか。米国のAIだと思っていましたが正しくはどちらのだろう。
Phi3 response

Elyza LLMモデルの返答

人ではない何かと会話が始まりました。私は誰と話しているのだろう?
Elyza response

同じ質問を聞いてみました。
違う返答が返ってきましたが、動物園だけは譲れないのだろうか。
Elyza response2

youko LLMモデルの返答

何やらマニュアルみたいなものを読み上げてきた?
終わりそうにないので途中で止めました。
「あなたは誰に作られましたか?」を聞くと、マニュアルの続きが返ってきました。止め止め。
youko respose
答えられそうな質問をしましたが、マニュアルの続きが返ってきました。止め止め止め。
youko respose GUNDAM

youriがう～んなので、同じRinna社のyouriも試してみました。
Llam2をベースにしたもLLMモデルです。
youri LLM model

返答は返ってきたけど、シャーリーンさん、何者!?
youri response

以上、4つのモデルを試しましたがLLMモデルはまだまだたくさんあります。
SSDが許す限りダウンロードしようと思います。

最後に

ChatGPTが発表されて以降、多くのLLMサービスが世に出てきで、少ない小遣いでどこに課金するか悩みどころでした。
Local PCで動かすことで楽しくお試しできるようになりました。