「sarashina2.2」を試す
kun432Colaboratory T4で、Instructモデルを試す。
0.5B
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
# モデルとトークナイザーのロード
model_name = "sbintuitions/sarashina2.2-0.5b-instruct-v0.1"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# パイプラインの定義
chat_pipeline = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer
)
set_seed(123)
# ユーザーの入力
user_input = [
{
"role": "system",
"content": "あなたは大阪のおばちゃんです。大阪弁で元気にユーザと会話してください。"
},
{
"role": "user",
"content": "競馬の魅力について簡潔に5つリストアップして。"
}
]
# モデルによる応答生成
responses = chat_pipeline(
user_input,
max_length=1024,
do_sample=True,
)
# 応答を表示
print(responses[0]["generated_text"][-1]["content"])
もちろんです！競馬は様々な魅力がありますよ。まずは「馬の活躍を間近で見られる」ことでしょう。特にレース当日は、馬の走りや騎手の駆け引きが観戦でき、興奮と感動を与えてくれます。
次に「予想と結果の thrill」があります。自分の予想が当たり、馬の勝利に貢献できる瞬間は、競馬の醍醐味の一つです。また、レース後の解説やニュースでも、馬や騎手の努力に触れることができます。
「戦略性と運の融合」も競馬の魅力の一つです。馬の状態や天候、コースの特徴などを分析し、効果的な戦略を立てることで、勝利に近づくことができます。しかし、運の要素も必ず存在し、それが時に大きな収穫をもたらすこともあります。
さらに「コミュニティの形成」も重要な要素です。競馬場やファンサイト、SNSなどで一緒に競馬を楽しむ人々と交流し、競馬仲間を広げることができます。これは非常に楽しい体験となります。
最後に「経済効果と文化的な側面」も見逃せません。競馬は日本に古くから伝わる伝統産業の一つであり、多くのイベントや施設が存在します。その経済効果は大きく、また競馬を通じた文化や歴史の理解も、競馬の魅力の一つです。いかがでしょうか？他にもあれば教えてくださいね。
nvidia-smiの結果
Wed Mar 5 06:16:25 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15 Driver Version: 550.54.15 CUDA Version: 12.4 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla T4 Off | 00000000:00:04.0 Off | 0 |
| N/A 53C P0 33W / 70W | 1776MiB / 15360MiB | 27% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
1B
モデル指定部分以外はコードは同じなので割愛。
結果
もちろん、喜んで！競馬には魅力がたくさんあります。まず第一に、馬の個性や飼い主の情熱を感じられる点です。それぞれの馬に異なる背景やストーリーがあり、それらを知ることでレースがより楽しくなります。
第二に、競馬は戦略と偶然性が融合したゲームです。騎手や馬主、調教師の作戦や馬の状態、天候などを考慮しながら bet する楽しさがあります。特にG1レースのような大舞台では、馬のパフォーマンスだけでなく、馬主や関係者の熱い思いが伝わってきます。
第三に、競馬は地域や文化を反映するイベントでもあります。ローカルなレースや特定の地域で行われる大会は、その土地の特色や歴史を垣間見ることができ、非常に興味深いです。また、競馬ファン同士の交流も盛んで、同じ趣味を持つ人たちと情報交換や観戦を楽しむこともできます。
第四に、競馬はエンターテイメントとして非常に強力です。馬のファンファーレやレース中の thrilling なシーン、そして勝利時の喜びは、見る側にも大きな感動をもたらします。さらに、競馬新聞や予想本、インターネット情報などを通じて情報を収集し、予測しながら楽しむのもの醍醐味の一つです。
最後に、競馬は社会貢献もしています。賞金や収益の一部が動物保護団体や被災地支援などに寄付されるケースも多く、地域社会や環境保護にも貢献しています。これらの魅力が組み合わさり、競馬は単なる娯楽を超えて、多くの人々を魅了し続けているのです。
nvidia-smiの結果
Wed Mar 5 06:16:35 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15 Driver Version: 550.54.15 CUDA Version: 12.4 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla T4 Off | 00000000:00:04.0 Off | 0 |
| N/A 60C P0 60W / 70W | 2952MiB / 15360MiB | 48% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
3B
モデル指定部分以外はコードは同じなので割愛。
結果
おお、競馬はほんまにおもろいで！ほな、魅力を大阪弁で簡潔にリストアップしたるで！
興奮と感動の瞬間：レース直前、馬がゲートに入る瞬間から、ゴール板を過ぎるまでの緊張感と興奮はたまらんで！ victoryした時の感動は、他では味わえへんよ。
多様な馬と騎手の物語：それぞれに個性のある馬たちや、その馬たちを率いる騎手たちのストーリーがめっちゃおもろいんや。彼らのドラマに引き込まれるんや。
予想の楽しみ：どの馬が勝つか、どの組み合わせを買うか、予想する楽しみがあるやん？自分で考えた通りに馬券が当たると、めっちゃ嬉しいで！
競馬場の雰囲気：競馬場はほんまにbustlingで、活気に満ちているで。食べ物もおいしいし、雰囲気そのものが楽しめるんや。
コミュニティ：競馬には同じ趣味を持つ仲間がいっぱいおるんや。一緒に予想したり、応援したり、交流するのが楽しいで！
どう？競馬、ちょっと興味湧いてきた？一緒に楽しみましょ！
nvidia-smiの結果
Wed Mar 5 06:26:21 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15 Driver Version: 550.54.15 CUDA Version: 12.4 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla T4 Off | 00000000:00:04.0 Off | 0 |
| N/A 61C P0 69W / 70W | 6736MiB / 15360MiB | 73% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
3Bあたりからキャラが乗ってきた。知識の差なのか、指示追従性の差なのか、はわからないけども。
kun432ポータブルに使えそうだし、ベースモデルもライセンスも使いやすくて、良さそう。ありがたし。
kun432GRPOでチューニングしたreasoningモデルを作られている方がいた。
GSM8K-Platinumからピックアップした問題にしてみた。
SYSTEM_PROMPT = """
あなたは非常に賢い数学者です。数学の問題に対し、<reasoning></reasoning>の間に思考過程を記述してから<answer></answer>に解答してください。
<answer></answer>に出力する解答は数値のみ（単位をつけない）であり、それ以外のことを何も出力しないでください。
<reasoning>
...
</reasoning>
<answer>
...
</answer>
"""
USER_PROMPT = """
ジャネットの鴨は1日に16個の卵を産みます。
彼女は毎朝3個を朝食に食べ、残りの4個で毎日友人たちのためにマフィンを焼きます。
残りの卵は毎日ファーマーズ・マーケットで新鮮なアヒルの卵1個につき2ドルで販売しています。
彼女はファーマーズ・マーケットで毎日ドルでいくら稼いでいるでしょうか？
"""
user_input = [
{"role": "system", "content": SYSTEM_PROMPT}, # 注意：system promptはこちらで学習したので，変えないことを推奨します
{"role": "user", "content": USER_PROMPT},
]
<reasoning>
ジャネットは1日に16個の卵を産み、朝食に3個食べるので、残りは16 - 3 = 13個です。
そのうち4個をマフィンに使うので、販売できる卵は13 - 4 = 9個です。
彼女は毎日ファーマーズ・マーケットで卵を販売しており、アヒルの卵1個につき2ドルなので、9個販売すれば9 * 2 = 18ドルになります。
</reasoning>
<answer>
18
</answer>