M1/M2 Macのローカルでjapanese-stablelm-instruct-gammaを使う方法
はじめに
Macのローカル環境で日本語対応のLLM動かしてみたい人向けの手順解説です。
llama.cppのmetalで、gguf形式のモデルを使用します。
環境構築
環境確認
makeのインストール確認
makeがインストールされているか確認します。
make --version
ここでバージョンが出てこない場合はインストールされていないので、homebrewを使ってmakeをインストールしておいてください。
wgetのインストール確認
wgetがインストールされているか確認します。
wget --version
make同様、バージョンが出てこない場合はインストールしておいてください。
llama.cppの環境構築
llama.cppのビルドを行います。
llama.cppはビルドされていない状態でgithub上で展開されているため、自分でビルドする必要があります。以下の手順で実行してください。
# llama.cppプロジェクトのダウンロード
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# matalでビルド
LLAMA_METAL=1 make
モデルのダウンロード
modelsディレクトリにllama2のモデルをダウンロードします。
gguf化されたものが既に展開されているので、今回はこちらを利用します。
※この方は他にも多数の日本語モデルのgguf化をされているのでMacでLLM使うならチェックをおすすめします。
Files and Versionsのタブの中を見ると複数のファイルがありますが、
ある程度のスペックがあるならapanese-stablelm-instruct-gamma-7b-q8_0.ggufがおすすめです。
ダウンロードしたファイルはmodelsディレクトリの中に入れてください。
モデルの実行
llama.cppディレクトリ内で次のコマンドを実行します。
./main -m 'models/apanese-stablelm-instruct-gamma-7b-q8_0.gguf' -n 256 -p '### 指示: パンダが海辺に行ってアザラシと友達になり、最終的には家に帰るというプロットの短編小説を書いてください。\n ### 応答:'
アウトプット
普通にクオリティ高いです。
ある日、パンダが海辺に行きました。そこでアザラシに出会った。2人はすぐに友達になり、一緒に釣りをしたり、食べたり、歌を歌ったりして過ごしました。日が暮れるころには、アザラシは自分の家に帰るように言いました。パンダも家に帰らなければならず、とても残念でしたが、また会える約束をし、お互いを抱きしめて別れました。
まとめ
いかがだったでしょうか？
今回は話題のLLMの使い方をまとめました。
Macのスペック持て余している方は是非今回の手順で使ってみてください！
私のTwitterではLLMに限らず、AIを活用した業務改善情報の発信をしておりますのでご興味のある方は是非フォローをお願いします。
Discussion