SB IntuitionsのSLM「Sarashina2.2」をM2 Pro Mac miniで動かしてみた
Sarashina2.2とは
Sarashina2.2とは、SB Intuitionsによる日本語能力に主眼を置いた小規模言語モデル(SLM)です。事前学習モデルとInstruction Tuningしたモデルが公開されています。MITライセンスで公開されているので商用利用もできます。詳しくは公式のブログも見てみてください。
今回は、パラメータ数が0.5B、1B、3Bの3つのInstruction TuningされたモデルをM2 Pro Mac miniで動かしてみて比較していきます。
M2 Pro Mac miniで試す
今回使用しているMac miniのスペックは以下の通りです。
- Apple M2 Pro
- CPU: E-core: 4 / P-core: 8
- GPU: 19-core
- Nerual Engine: 16-core
- RAM: 32GB
パッケージのインストール
以下のパッケージをインストールします。
pip install 'transformers>=4.49' torch
今回試したコード
今回もvLLMやOllamaなどを使わずにHuggingFace Transformersで試してみます。温度パラメータは0.7に設定しました。
実際に使用したコードはGitHubで公開しています: Shakshi3104/sb-sarashina2.2
# モデルの設定
model_name = "sbintuitions/sarashina2.2-3b-instruct-v0.1"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
if torch.backends.mps.is_available():
device = torch.device('mps')
model.to(device)
generator = pipeline("text-generation", model=model, tokenizer=tokenizer,
device="mps" if torch.backends.mps.is_available() else "cpu")
# 入力
input_text = "日本の首都は？"
messages = [
{"role": "user", "content": input_text},
]
# 出力
outputs = generator(
messages,
max_new_tokens=1024,
do_sample=True,
temperature=0.7,
pad_token_id=tokenizer.pad_token_id,
)
出力のかかる時間とメモリ使用量
パラメータ数 3B
出力にかかる時間は、大体25秒くらいでした。
メモリは、実行中は最大でも24GBくらいまで使用量が増えますが、問題なく動作していました。Pythonのプロセス単位だと7GBくらい使ってました。
パラメータ数 1B
出力にかかる時間は、大体10秒くらいでした。
メモリは、実行中は最大でも19GBくらい使用していますが、メモリプレッシャーが黄色にならないので余裕で動作しそうです。Pythonのプロセス単位だと6GBくらい使ってました。
パラメータ数 0.5B
出力にかかる時間は、大体9秒くらいでした。1Bのモデルと大きな差はなさそうです。
メモリの使用量は、実行中は最大でも16GBくらいでした。Pythonのプロセス単体だと3GBくらいしか使ってなさそうだったので、もっとRAMが少ないMacやiPhoneでも動作しそうです。
出力の例
Phi-4-mini-instructを動かしてみたときと同様の質問をしてみて、それぞれのモデルの出力を比較してみます。
入力: たまごっちとは何ですか？
パラメータ数 3B
たまごっちの説明としては良さげな文章が返ってきてる印象です。
たまごっちは、1996年にバンダイが発売したデジタルペット玩具です。
このおもちゃは、小さな液晶画面の中でキャラクター（たまごっち）が成長し、ユーザーはそのキャラクターを世話することで交流を楽しむことができます。
たまごっちは、餌を与えたり、排泄物の掃除をしたり、睡眠を取らせたりすることで成長し、様々なイベントやステージを経て進化します。
また、たまごっち同士を通信させることで、データを交換したり、友達関係を築くことも可能です。
たまごっちは世界中で人気を博し、その後もシリーズが継続され、様々なデザインや機能が追加されました。
パラメータ数 1B
英語を交えて回答するようになりました。開発元やゲームの内容が間違っていますが、文章の意味は通ってると思います。
たまごっちは、セガが開発した携帯型ゲーム機とそれに関連したキャラクターコンテンツです。
特に1996年から2001年にかけてシリーズが展開され、様々な種類のたまごっちが存在しました。
これらのたまごっちは、プレイヤーが育成やコミュニケーションを通じてペットのように育てられる点が特徴でした。各たまごっちには独自の能力や性格があり、プレイヤーが育てながら物語を進めていくシステムが導入されていました。
たまごっちシリーズは、単なる玩具を超えて、 kids' entertainment として大きな人気を博しました。
パラメータ数 0.5B
たまごっちのキャラクターを「っち」と呼んでたりするのが面白いですが、パラメータ数が0.5Bと考えるとすごいと思います。
たまごっちとは、1996年に任天堂が発売した携帯型ゲーム機「ニンテンドーゲームキューブ」と、そのゲーム内で使用できる育成シミュレーションゲーム「たまごっち」シリーズを指す言葉です。
たまごっちは、小さなっちと呼ばれるキャラクターを飼育し、成長させるゲームプレイが特徴です。
プレイヤーは様々な卵から hatch（孵化）したっちを世話し、適切な餌や環境を与えることでっちの成長を促します。
また、特定のっちを通じて特別なイベントが発生したり、コレクションとして収集可能なアイテムも登場します。
たまごっちは携帯ゲーム機ならではの直感的な操作性と、可愛らしいキャラクター、そして育成要素が人気を呼びました。
入力: なにわ男子について教えてください
パラメータ数 3B
グループ名の意味の部分に、日本語として不自然だったり嵐のグループ名の由来が含まれたりしてますが、結成の年やメンバーについてはちゃんと答えているのですごいです。
なにわ男子は、日本の男性アイドルグループです。彼らはジャニーズ事務所に所属し、2018年に結成されました。
グループ名は「関西から全国になにわ男子のなにわ男子によるなにわ男子のための嵐を起こす」という意味が込められています。
なにわ男子は、デビュー前のグループとしてさまざまなイベントやコンサート、テレビ番組に出演し、ファンベースを築いてきました。
メンバーには藤原丈一郎、大橋和也、西畑大吾、高橋恭平、長尾謙杜、道枝駿佑、大西流星の7人がおり、それぞれが異なる個性と魅力を持っています。
彼らは音楽だけでなく、ダンスや演技にも力を入れており、多くのファンに支持されています。
また、なにわ男子はSNSでも活発に活動しており、特にTikTokやInstagramで若年層を中心に人気があります。
今後もなにわ男子の活躍が期待されます。彼らのさらなる成長と成功を楽しみに待ちましょう。
パラメータ数 1B
メンバーの数だったりグループ名の由来に結構嘘が含まれてます。ただ、日本語としては自然に返ってきてると思いました。
なにわ男子は、日本の男性アイドルグループです。
メンバーは西畑大吾、長尾謙杜、大橋和也、藤原丈一郎、高橋恭平、道枝駿佑の6人で構成されています。
彼らは2018年に「関西ジャニーズJr.」内のユニットとして結成され、その後、現在の名称「なにわ男子」として活動を開始しました。
グループ名は、関西地方の伝統行事である「navigation（ Navigation）」に由来しており、メンバーそれぞれが目的地まで正しく導くという意味が込められています。
なにわ男子は、コンサートや舞台を中心に活躍し、特に彼らの人気を決定づける要因となっているのが、明るく元気なパフォーマンスと親しみやすいキャラクターです。
また、テレビ番組やイベントでのトークスキルやダンス能力の高さも評価されています。彼らの音楽性とエンターテイメント性は、ファンだけでなく多くの人々にアピールしています。
なにわ男子は、これからも様々なメディアでの活躍が期待されています。彼らの成長と魅力が今後もファンを魅了し続けることでしょう。
パラメータ数 0.5B
またメンバーの数が減りました。だいぶ嘘が含まれてる気がしますが、日本語としては自然な文章が返ってきてるのですごいです。
なにわ男子は、日本の男性アイドルグループです。メンバーは西畑大吾、道枝駿佑、高橋恭平、長尾謙杜の4人で構成されており、2019年4月に結成されました。
彼らは「関西を中心に、全国にファンを拡大する」という目標を掲げ、関西地方で様々なイベントやコンサートを行っています。
なにわ男子の特徴としては、まず彼らの音楽性が非常に幅広いことが挙げられます。
J-POPやダンスパフォーマンス、ラップスキルなど、様々なジャンルを披露しています。
また、メンバーそれぞれの個性が強く、西畑大吾はリーダーシップと演技力、道枝駿佑は天然と愛嬌、高橋恭平はスポーツマンシップと明るさ、長尾謙杜は爽やかな笑顔とダンススキルが特徴です。
さらに、なにわ男子は「なにわ橋」や「A lot more」などの楽曲で高い人気を獲得しており、これらは多くのファンを獲得するための重要な作品となっています。
彼らは定期的にコンサートを開催し、ファンとの距離を縮めています。
このように、なにわ男子はメンバーそれぞれの魅力を活かしたグループ活動と、ファンへの思いやりのある対応で、関西だけでなく全国的にファンを広げています。
おわりに
今回は、SB IntuitionsによるSLMの「Sarashina2.2」シリーズをM2 Pro Mac miniで動かしてみました。3Bのモデルは嘘が少ない日本語が返ってくる印象です。また、0.5Bのモデルは、嘘は含まれてますが、パラメータ数を抑えつつ自然な日本語で返してくれてると思いました。ローカルのモデルで完結するRAGに活用できると思います！
Discussion