Zenn
🙆‍♀️

StableLMお試しメモ

2023/05/02に公開
#
検証
#
LLM
#
stablelm
tech

はじめに

この記事は、4/20にStability AIからリリースされていたStableLMを触って試してみたメモです。
（GWに少し時間が空いたので、ちょっと触ってみようと思った次第）

StableLMについて

Stability AIが公開しているオープンソースの言語モデルで、オープンソースのデータセットThe pile を拡張したデータセットでトレーニングされている。
2023/5/2時点では、3Bパラメータと7Bパラメータのモデルが公開されている。（GitHubで見た感じ、今後15B,30B,65B,175B規模のモデルも公開される予定）

公開されているモデルには、StableLM-Base-AlphaとStableLM-Tuned-Alphaという同じモデル規模でも２パターンのモデルが公開されている。

  • StableLM-Base-Alpha
    • ベースモデルのチェックポイントでCC BY-SA-4.0で公開(商用利用可)
  • StableLM-Tuned-Alpha
    • Vicuna-13B v0をRLHFでfine-tuneされており、オリジナルのLLamaモデルに対するデルタウェイト
    • LLamaのライセンスの関係でCC BY-NC-SA-4.0で公開（商用利用不可)

環境構築

Google Colaboratoryの有料ユニットがまだ余ってたので、これを使って検証しました。

  • システムRAM: 83.5[GB]
  • GPU RAM: 40.0[GB]
  • ディスク: 78.2[GB]

検証に使ったコードはStableLM公式のノートブックを利用しました。

お試し

今回はそこまでがっつり検証はせず、「一旦どんなもんかなぁ？」といったニュアンスで適当に試してみました。

以下に試してみた入力の一部を記載しておきます。

「日本語で対話してください。あなたの名前は何ですか？」

  • StableLM-Base-Alpha 
    •     TIME15:4ONLINE2521
   1593615046842:13223029:小年快乐
   1593615052092:13223029:我以前也是这样
   1593615061889:13223029:【是很多人喜欢吗】
   1593615067149:13223029:【现在想的是】
   1593615069267:13223029:【很多人喜欢吗】
   1593615072363
  • StableLM-Tuned-Alpha 
    • いいえ、日本語で対話すべきです。

「Can you recommend a jump manga for me?」

  • StableLM-Base-Alpha 
    • User2: MHA, one piece, dragon ball, naruto, bleach, jujutsu kaisen, one piece, blue exorcist, boku no hero academia, demon slayer, black clover, hunter x hunter, fairy tail, fairy tail, code geass, jujutsu kaisen, berserk, bleach, berserk, hunter x hunter, boku no hero, shaman king, hunter x hunter, my hero academia, toaru majutsu no index, jojos, jojos, jujutsu kaisen, one
  • StableLM-Tuned-Alpha 
    • Sure, here are some recommendations:

  * Tokyo Revengers: A very popular manga series that is considered to be one of the best Jump manga currently running. It is a story about a teenager named Ryota who is transported into a world of violence and destruction, where he must use his intellect and bravery to survive.
  * Solo Leveling: A great manga series that follows a group of heroes who fight against a series of monsters that are causing chaos and destruction across the world. The series is very fast-paced and has a very mature and mature tone.
  * Aokana: A manga series about a group of

所感

  • モデルの違いについて

    • 入力が英語の場合はそこまで差があるわけではなさそう
    • 入力が日本語の場合、ベースモデルはかなり厳しそう、、、

  • 日本語について

    • 難しいなぁといった所感
    • SystemPromptを日本語化してみたら少しマシになってたかも、、、
    • 日本語で入力しても英語で返してくる
    • 日本語データセットでFine-Tuneとかできたらよくなるのかな？

  • 推論時間

    • max_new_tokens=128程度であれば4秒程度で推論可能

おわりに

今回はStableLMを少しだけ動かして検証してみました。

かなり前に試したOSSのLLMに比べるとかなり性能は上がっていた気がしました。今後Stability AI社がより良いオープンなモデルを公開してくれればできることの幅が増えてハッピーになれるのではないかと思っています。（現段階でも公開してくれているStability AI社さんや他組織の人たちに感謝します！）

Discussion