💬
LINE が公開した日本語言語モデルをM2 Macbook Airで動かす
これはなに?
LINE が公開した日本語言語モデルをローカルで動かしたいけど、GPUがなくて動かなくて悲しかったのです。でも、huggingface に良い変換モデルを公開されてる方がいらして、それを試したら、いい感じで動きました。というご報告です。やったね!
結論: 動かす手順
- homebrew で cmake をインストール
- mmngaさんが公開されている ggml 変換版の readme に従ってターミナルで以下を実行
git clone https://github.com/ggerganov/ggml.git
cd ggml
mkdir build && cd build
cmake ..
make -j
- mmngaさんが公開されているggml 変換版のモデルをダウンロード 保存先は 2. で mkdir した build ディレクトリに。
- 以下のコマンドで推論を実行
./bin/gpt-neox -m 'line-corp-japanese-large-lm-3.6b-ggml-q4_0.bin' -n 128 -t 8 -p '日本を代表するプログラマーといえば、'
実行結果
日本を代表するプログラマーといえば、まつもとゆきひろ氏。氏は、Linuxの生みの親であり、またプログラミング言語Rubyの作者としても知られています。氏がRubyを開発したきっかけは、まつもと氏がまだ大学院生だった頃に、1人で自宅にあった古いPCにLinuxをインストールし、インターネットに接続して、Webアプリケーションの開発を始めたことでした。<0x0A>「このプロジェクトは、2年かけても完成しませんでした。結局、2年後に、2人の協力者を得て、開発を再開し、Webアプリケーションとして完成させることができました。その2人がいなければ、おそらく今もこのプロジェクトは完成していなかったでしょう。」と、氏は当時のプロジェクトを振り返るとともに、「これは、まさに、私が、Linuxや
おしい!
速度やメモリ消費量
日本語特化モデルなのに加えて、一番小さい量子化モデルだからだとおもうんですが、めっちゃ軽いです。
上記の結果を出すまで7秒ぐらいで、実行中のメモリ消費は 2GB ちょい。
50ms per token でした。すごい!
これは iPhone でも動いてしまいそうです。
Discussion
動きました!ありがとうございます。
答えがCojiさんのものと違うのもまたLLMの愛嬌ですね。
一応、これがggmlのrevision.
記事通りの手順であっさり動きました!
羽生名人、すごいですねー!