🦙

ローカル環境でLlama 2 Chat 70B Q4を動かしてみた

2023/12/31に公開

はじめに

Llama2 はMetaが開発した言語モデルです。
年末年始に暇つぶしに自分のPCで動かしてみたので、その手順を紹介します。

Janは、いろんなLLMを簡単に動かせるようにするためのツールです。
まずGitHubからJanをダウンロードします。

続いて、JanでLlama 2 Chat 70B Q4をダウンロードします。
ダウンロードが完了したら、Useボタンをクリックすればチャットが開始できます。

早速質問をしてみました。自分のPCだと大体 1 Token/s くらいの速度で返答してくれました。
メモリー使用率はカツカツですね。

Llama 2 Chat 70B Q4をローカル環境で動かすことができました。
Janを使うと、いろんなLLMを簡単に動かすことができるので、ぜひ試してみてください。