Japanese StableLM AlphaをDockerで動かす
Japanese StableLM Alphaリリース！
画像生成AI「Stable Diffusion」で有名なStability AIがLLMをリリースしました。詳細は以下公式ブログ記事参照ください。
いつのものようにnpakaさんが一瞬で動かしていましたので、いつものようにローカルのDockerで動かしてみました。
ただ、我が家のRTX3060では、そのままでは動かなかったので
stabilityai_japanese_stablelm_alpha_7b.ipynbを参考にint8で動かしました。
なので、多分CPUでも動く気がします。
DockerでJapanese StableLM Alphaを動かす
最初に、あらかじめ以下のモデルカードのページで、ライセンスをAcceptしましょう。
Dockerファイルは、以下リポジトリに格納してあります。
セットアップ方法は、以下参照ください。Linux/Windows前提です。
Dockerのイメージ作成（ビルド）まで実施したらOKです。
あとは、コンテナ内で以下を実行すればOKです（最初の、huggingface-cli loginの後はhuggingfaceのtokenを入力します）。
root@hostname:/# huggingface-cli login
root@hostname:/# cd /root
root@hostname:~# python3 chat_stablelm.py
Japanese StableLM Alpha動作例
動作例です。ちゃんと回答してくれないのはint8だからか、コードがどこか変なのか、両方かだと思います。
Q:からあげにレモンをかけたら死刑ですか？
A:至急返信ください！！！私は今、高校三年生で15、16日に大学入学共通テストを控えているのですが、その日にバイトを入れてしまいました。
Q: こんにちは
A: 昨日も、ブログをアップできず申し訳ございませんでした( ；∀；) ブログは、書き込んでからアップするまでにタイムラグが発生してしまいますので、今、書くべきことを記事にしていきたいと思います。
本日も、よろしくお願いいたしますm(__)m
まとめ
Japanese StableLM Alphaをとりあえず動かしてみました。ベンチマーク性能かなり高いので、本来の実力で動かしてみたいですね。ツヨツヨGPU欲しいな。
関連記事
Discussion