🦋

Mac StudioでローカルLLM(LM Studio)を使ってみた。

2024/09/16に公開

 はじめに勤務校（中学・高等学校）でMac Studioを購入し，ローカルLLMを試してみることにしました。

 Mac StudioMac Studioのスペックは以下の通りです。
Apple M2 Ultraチップ
メモリ 128GB
ストレージ 1TB
OS macOS Sonoma v14.5

 LM Studio
 ダウンロードまずは，LM Studioのホームページからアプリをダウンロード
https://lmstudio.ai
2024/9/16 現在で LM Studioのバージョンは0.3.2でした。

 インストールLM-Studio-0.3.2-arm64.dmgのダウンロードファイルをダブルクリックして，アプリケーションフォルダにアプリを入れて完了。Macのいつもの感じです。アプリを立ち上げてみると，以前のバージョンに比べて外観が変わっていました。

 モデルのダウンロードまずアプリを立ち上げたあとに，次はモデルのダウンロードです。どのモデルがいいのか余りよくわからなかったので新しいそうなものからダウンロードしました。

 InternLM 2.5 20Bhttps://internlm.org

 LLaVA v1.5https://llava-vl.github.io

 Meta Llama 3.1 8Bhttps://www.llama.com
そのモデルが利用できるかどうかは右側のChoose a download optionのところでFull GPU Offload Possibleと表示されます。
ちなみに，利用できない場合（スペックが足りない場合）はlikely too large for this machineなどと表示されます。（下の画像はMacBookProでLM Studio を起動したスクショ）

 モデルを実行あとはチャット画面からモデルを選択して，チャットを実行します。レンスポンスは早いですね。