🙆♀️
StableLMお試しメモ
はじめに
この記事は、4/20にStability AIからリリースされていたStableLMを触って試してみたメモです。
(GWに少し時間が空いたので、ちょっと触ってみようと思った次第)
StableLMについて
Stability AIが公開しているオープンソースの言語モデルで、オープンソースのデータセットThe pile を拡張したデータセットでトレーニングされている。
2023/5/2時点では、3Bパラメータと7Bパラメータのモデルが公開されている。(GitHubで見た感じ、今後15B,30B,65B,175B規模のモデルも公開される予定)
公開されているモデルには、StableLM-Base-AlphaとStableLM-Tuned-Alphaという同じモデル規模でも2パターンのモデルが公開されている。
-
StableLM-Base-Alpha
- ベースモデルのチェックポイントでCC BY-SA-4.0で公開(商用利用可)
-
StableLM-Tuned-Alpha
- Vicuna-13B v0をRLHFでfine-tuneされており、オリジナルのLLamaモデルに対するデルタウェイト
- LLamaのライセンスの関係でCC BY-NC-SA-4.0で公開(商用利用不可)
環境構築
Google Colaboratoryの有料ユニットがまだ余ってたので、これを使って検証しました。
- システムRAM: 83.5[GB]
- GPU RAM: 40.0[GB]
- ディスク: 78.2[GB]
検証に使ったコードはStableLM公式のノートブックを利用しました。
お試し
今回はそこまでがっつり検証はせず、「一旦どんなもんかなぁ?」といったニュアンスで適当に試してみました。
以下に試してみた入力の一部を記載しておきます。
「日本語で対話してください。あなたの名前は何ですか?」
- StableLM-Base-Alpha
-
TIME15:4ONLINE2521 1593615046842:13223029:小年快乐 1593615052092:13223029:我以前也是这样 1593615061889:13223029:【是很多人喜欢吗】 1593615067149:13223029:【现在想的是】 1593615069267:13223029:【很多人喜欢吗】 1593615072363
-
- StableLM-Tuned-Alpha
-
いいえ、日本語で対話すべきです。
-
「Can you recommend a jump manga for me?」
- StableLM-Base-Alpha
-
User2: MHA, one piece, dragon ball, naruto, bleach, jujutsu kaisen, one piece, blue exorcist, boku no hero academia, demon slayer, black clover, hunter x hunter, fairy tail, fairy tail, code geass, jujutsu kaisen, berserk, bleach, berserk, hunter x hunter, boku no hero, shaman king, hunter x hunter, my hero academia, toaru majutsu no index, jojos, jojos, jujutsu kaisen, one
-
- StableLM-Tuned-Alpha
-
Sure, here are some recommendations: * Tokyo Revengers: A very popular manga series that is considered to be one of the best Jump manga currently running. It is a story about a teenager named Ryota who is transported into a world of violence and destruction, where he must use his intellect and bravery to survive. * Solo Leveling: A great manga series that follows a group of heroes who fight against a series of monsters that are causing chaos and destruction across the world. The series is very fast-paced and has a very mature and mature tone. * Aokana: A manga series about a group of
-
所感
-
モデルの違いについて
- 入力が英語の場合はそこまで差があるわけではなさそう
- 入力が日本語の場合、ベースモデルはかなり厳しそう、、、
-
日本語について
- 難しいなぁといった所感
- SystemPromptを日本語化してみたら少しマシになってたかも、、、
- 日本語で入力しても英語で返してくる
- 日本語データセットでFine-Tuneとかできたらよくなるのかな?
-
推論時間
- max_new_tokens=128程度であれば4秒程度で推論可能
おわりに
今回はStableLMを少しだけ動かして検証してみました。
かなり前に試したOSSのLLMに比べるとかなり性能は上がっていた気がしました。今後Stability AI社がより良いオープンなモデルを公開してくれればできることの幅が増えてハッピーになれるのではないかと思っています。(現段階でも公開してくれているStability AI社さんや他組織の人たちに感謝します!)
Discussion