<h1 id="%E8%A6%81%E7%B4%84">
<a class="header-anchor-link" href="#%E8%A6%81%E7%B4%84" aria-hidden="true"></a> 要約</h1>
<p>以下の3モデルを作成・公開しました。<br>
小規模ながら比較的性能の高いモデルになっていると思います。</p>
<ul>
<li>Qwen/Qwen1.5-0.5Bを日英データ5Bトークンで継続事前学習した<a href="https://huggingface.co/Kendamarron/Tokara-0.5B-v0.1" target="_blank" rel="nofollow noopener noreferrer">Tokara-0.5B-v0.1</a>
</li>
<li>Tokara-0.5BをSFTした<a href="https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-dolly-jimba" target="_blank" rel="nofollow noopener noreferrer">Tokara-0.5B-Chat-dolly-jimba</a>
</li>
<li>SFTモデルとQwen1.5-0.5B-Chatのchatvectorをベースモデルに加えた<a href="https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-v0.1" target="_blank" rel="nofollow noopener noreferrer">Tokara-0.5B-Chat-v0.1</a>
</li>
</ul>
<h1 id="%E7%9B%AE%E7%9A%84">
<a class="header-anchor-link" href="#%E7%9B%AE%E7%9A%84" aria-hidden="true"></a> 目的</h1>
<p>前回のLiteLlama-460Mはそもそもの言語能力があまり高くなかったので、能力自体が高く、日本語も学習しているであろうQwen1.5-0.5Bを継続事前学習することにしました。</p>
<h1 id="%E5%AE%9F%E6%96%BD%E5%86%85%E5%AE%B9">
<a class="header-anchor-link" href="#%E5%AE%9F%E6%96%BD%E5%86%85%E5%AE%B9" aria-hidden="true"></a> 実施内容</h1>
<h2 id="%E3%83%A2%E3%83%87%E3%83%AB%E3%83%BB%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88">
<a class="header-anchor-link" href="#%E3%83%A2%E3%83%87%E3%83%AB%E3%83%BB%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88" aria-hidden="true"></a> モデル・データセット</h2>
<ul>
<li>ベースモデル: Qwen/Qwen1.5-0.5B</li>
<li>トークナイザー: 語彙拡張は行わず、Qwenのトークナイザーをそのまま使用</li>
<li>学習データ:
<ul>
<li>izumi-lab/wikipedia-ja-20230720</li>
<li>oscar-corpus/OSCAR-2301（日本語を対象に品質フィルタリングしたもの、HF上で約15GB）</li>
<li>aixsatoshi/cosmopedia-japanese-100k</li>
<li>BEE-spoke-data/wikipedia-20230901.en-deduped</li>
</ul>
</li>
<li>1epoch: 約7.3Bトークン（今回は約5B学習したチェックポイントを使用）</li>
</ul>
<h2 id="%E3%83%8F%E3%82%A4%E3%83%91%E3%83%BC%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%83%BC">
<a class="header-anchor-link" href="#%E3%83%8F%E3%82%A4%E3%83%91%E3%83%BC%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%83%BC" aria-hidden="true"></a> ハイパーパラメーター</h2>
<table>
<thead>
<tr>
<th>パラメーター</th>
<th>値</th>
</tr>
</thead>
<tbody>
<tr>
<td>attn_implementation</td>
<td>flash_attention_2</td>
</tr>
<tr>
<td>scheduler</td>
<td>cosine_schedule_with_warmup</td>
</tr>
<tr>
<td>per_device_train_batch_size</td>
<td>1</td>
</tr>
<tr>
<td>gradient_accumulation_steps</td>
<td>512</td>
</tr>
<tr>
<td>lr</td>
<td>3e-4</td>
</tr>
<tr>
<td>weight_decay</td>
<td>0.1</td>
</tr>
<tr>
<td>warmup_rate</td>
<td>0.01</td>
</tr>
<tr>
<td>num_train_epoch</td>
<td>1</td>
</tr>
</tbody>
</table>
<h2 id="%E5%AE%9F%E8%A1%8C%E7%92%B0%E5%A2%83">
<a class="header-anchor-link" href="#%E5%AE%9F%E8%A1%8C%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 実行環境</h2>
<h3 id="pc%E3%82%B9%E3%83%9A%E3%83%83%E3%82%AF">
<a class="header-anchor-link" href="#pc%E3%82%B9%E3%83%9A%E3%83%83%E3%82%AF" aria-hidden="true"></a> PCスペック</h3>
<table>
<thead>
<tr>
<th>項目</th>
<th>スペック</th>
</tr>
</thead>
<tbody>
<tr>
<td>CPU</td>
<td>i9-14900K</td>
</tr>
<tr>
<td>RAM</td>
<td>96GB</td>
</tr>
<tr>
<td>GPU</td>
<td>RTX-4090</td>
</tr>
</tbody>
</table>
<h3 id="%E3%81%9D%E3%81%AE%E4%BB%96">
<a class="header-anchor-link" href="#%E3%81%9D%E3%81%AE%E4%BB%96" aria-hidden="true"></a> その他</h3>
<ul>
<li>WSL2のDocker上で実行</li>
<li>transformersのTrainerを使用</li>
<li>学習データは4098トークンごとにチャンク分け</li>
</ul>
<h1 id="%E7%B5%90%E6%9E%9C">
<a class="header-anchor-link" href="#%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 結果</h1>
<h2 id="%E3%83%99%E3%83%BC%E3%82%B9%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6">
<a class="header-anchor-link" href="#%E3%83%99%E3%83%BC%E3%82%B9%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" aria-hidden="true"></a> ベースモデルについて</h2>
<p>継続事前学習を行ったモデルはTokara-0.5B-v0.1として公開しています。<br>
7.3Bトークンの学習には166時間（丸1週間）かかりました。<br>
Qwenモデルをベースにしているため、ライセンスがQwenのものになっている点にご留意ください。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__3961949588a86" src="https://embed.zenn.studio/card#zenn-embedded__3961949588a86" data-content="https%3A%2F%2Fhuggingface.co%2FKendamarron%2FTokara-0.5B-v0.1" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/Kendamarron/Tokara-0.5B-v0.1" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/Kendamarron/Tokara-0.5B-v0.1</a></p>
<h3 id="%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E7%B5%90%E6%9E%9C">
<a class="header-anchor-link" href="#%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> ベンチマーク結果</h3>
<p><a href="https://github.com/Stability-AI/lm-evaluation-harness" target="_blank" rel="nofollow noopener noreferrer">Stability-AI/lm-evaluation-harness</a>の3項目で評価</p>
<table>
<thead>
<tr>
<th>モデル</th>
<th>jsquad(1-shot)</th>
<th>jcommonsenseqa(1-shot)</th>
<th>jnli(1-shot)</th>
</tr>
</thead>
<tbody>
<tr>
<td>Kendamarron/Tokara-0.5B-v0.1</td>
<td>26.4295</td>
<td><strong>0.2663</strong></td>
<td>0.5509</td>
</tr>
<tr>
<td>Qwen/Qwen1.5-0.5B</td>
<td><strong>31.3597</strong></td>
<td>0.2556</td>
<td><strong>0.5534</strong></td>
</tr>
</tbody>
</table>
<p>ベースにしたQwen1.5-0.5Bと比べると性能低下が見られました。<br>
これは個人的に悔しい結果になりましたが、データセットのクリーニングが不十分だったことが原因と考えています。</p>
<h2 id="instruct%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6">
<a class="header-anchor-link" href="#instruct%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" aria-hidden="true"></a> Instructモデルについて</h2>
<p>Tokara-0.5Bをベースにした以下の2種類のInstructモデルを作成・公開しました。<br>
0.5Bという最近のLLMの中では小規模なものですが、両モデルともに、ある程度対話が行えるモデルになっています。</p>
<h3 id="kendamarron%2Ftokara-0.5b-chat-dolly-jimba">
<a class="header-anchor-link" href="#kendamarron%2Ftokara-0.5b-chat-dolly-jimba" aria-hidden="true"></a> Kendamarron/Tokara-0.5B-Chat-dolly-jimba</h3>
<p>まずはTokara-0.5B-v0.1を対話データセットでファインチューニングしたモデルです。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__6ec16445c5fc8" src="https://embed.zenn.studio/card#zenn-embedded__6ec16445c5fc8" data-content="https%3A%2F%2Fhuggingface.co%2FKendamarron%2FTokara-0.5B-Chat-dolly-jimba" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-dolly-jimba" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-dolly-jimba</a><br style="display:none">
使用したデータセットは以下の通りです。</p>
<ul>
<li>kunishou/databricks-dolly-15k-ja</li>
<li>Kendamarron/jimba-instuction-1k-beta</li>
<li>Kendamarron/pret-a-porter-instruction-v0.1</li>
<li>Kendamarron/jimba-oasst2（公開準備中）</li>
</ul>
<p>jimba-oasst2-jaはoasst2のinstructionを起点にSwallow-MXを使って作成したマルチターン合成データセットです。</p>
<h3 id="kendamarron%2Ftokara-0.5b-chat-chatvector-v0.1">
<a class="header-anchor-link" href="#kendamarron%2Ftokara-0.5b-chat-chatvector-v0.1" aria-hidden="true"></a> Kendamarron/Tokara-0.5B-Chat-chatvector-v0.1</h3>
<p>続いて、上記モデルとQwen/Qwen1.5-0.5B-Chatのchat vectorをTokara-0.5B-v0.1に加えたモデルです。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__d6365b032d003" src="https://embed.zenn.studio/card#zenn-embedded__d6365b032d003" data-content="https%3A%2F%2Fhuggingface.co%2FKendamarron%2FTokara-0.5B-Chat-v0.1" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-v0.1" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-v0.1</a></p>
<p>当初はベースモデルにQwen-0.5B-Chatのchat vectorを加えてInstructモデルを作ろうと考えていたのですが、それだけだと中国語が頻繁の混ざるようになってしまいました。<br>
そこで、上記のTokara-0.5B-Chat-dolly-jimbaを作成したことで、日本語を出力する能力を保ったまま、英語や中国語では性能が高いであろうQwen-0.5B-Chatの能力も獲得できるようにしています。</p>
<p><strong>レシピ</strong></p>
<ul>
<li><a href="https://huggingface.co/Kendamarron/Tokara-0.5B-v0.1" target="_blank" rel="nofollow noopener noreferrer">Tokara-0.5B-v0.1</a></li>
<li>0.24*(<a href="https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat" target="_blank" rel="nofollow noopener noreferrer">Qwen/Qwen1.5-0.5B-Chat</a> - <a href="https://huggingface.co/Qwen/Qwen1.5-0.5B" target="_blank" rel="nofollow noopener noreferrer">Qwen/Qwen1.5-0.5B</a>)</li>
<li>0.56*(<a href="https://huggingface.co/Kendamarron/Tokara-0.5B-Chat-dolly-jimba" target="_blank" rel="nofollow noopener noreferrer">Kendamarron/Tokara-0.5B-Chat-dolly-jimba</a> - <a href="https://huggingface.co/Kendamarron/Tokara-0.5B-v0.1" target="_blank" rel="nofollow noopener noreferrer">Kendamarron/Tokara-0.5B-v0.1</a>)</li>
</ul>
<h3 id="japanese-mt-bench%E3%81%A7%E3%81%AE%E6%80%A7%E8%83%BD%E6%AF%94%E8%BC%83">
<a class="header-anchor-link" href="#japanese-mt-bench%E3%81%A7%E3%81%AE%E6%80%A7%E8%83%BD%E6%AF%94%E8%BC%83" aria-hidden="true"></a> Japanese MT-benchでの性能比較</h3>
<p>Japanese MT-benchの6カテゴリをシングルターンで評価<br>
<img src="https://storage.googleapis.com/zenn-user-upload/8aa6bca6fde2-20240508.png" loading="lazy" class="md-img"></p>
<table>
<thead>
<tr>
<th>Extraction</th>
<th>Humanities</th>
<th>Reasoning</th>
<th>Roleplay</th>
<th>STEM</th>
<th>Writing</th>
</tr>
</thead>
<tbody>
<tr>
<td>1.3</td>
<td>2.6</td>
<td>2.5</td>
<td>3.8</td>
<td>2.3</td>
<td>3.2</td>
</tr>
</tbody>
</table>
<h3 id="%E5%AE%9F%E9%9A%9B%E3%81%AE%E5%87%BA%E5%8A%9B%E4%BE%8B">
<a class="header-anchor-link" href="#%E5%AE%9F%E9%9A%9B%E3%81%AE%E5%87%BA%E5%8A%9B%E4%BE%8B" aria-hidden="true"></a> 実際の出力例</h3>
<p>Tokara-0.5B-Chat-v0.1の出力例をいくつか紹介します。</p>
<table>
<thead>
<tr>
<th>プロンプト</th>
<th>出力</th>
</tr>
</thead>
<tbody>
<tr>
<td>大規模言語モデルとはなんですか？</td>
<td>大規模言語モデル（Big Neural Network）は、複数の自然言語工学者と異なる多様な学習要因を組み合わせて生成される言語処理技術であり、AIやNLP分野では主流となっています。<br>大規模言語モデルには以下のような特徴があります：<br>- 多要素非同期：大量の音声信号から発生し得る人工知能が得意であるため、これらの信号を時系列形式に移行させながら深層化することで高度な文法分析や熟考性のある理解ができるようになります。<br>- モジュール化された可視的特性：各タグや意味域に至った合体した「エビリティ」を指す言語構造は、大規模言語モデルにおいて重要視されています。一般的には100以上個以上の符号が存在している状態を代表しています。<br>- 動力的な制御：大規模言語モデルは、人間と同様に動機付けて動作します。そのため、特定の条件を満たせば効率的にアルゴリズムを検証して改善することが可能となります。<br>- 具体性と信頼度：大規模言語模型は、元々の言語体系を踏まえて独自の表現やルーツを持っています。そのため、予測精度や可用性は高いと言えます。</td>
</tr>
<tr>
<td>大学受験に向けた心構えを5つ教えて</td>
<td>1. 自分なりの志望校や学部名を明確にする。<br>2. 進路目標（就活、卒業）について理解する。<br>3. 学校・教科書等の重要性と体系化された授業内容について把握する。<br>4. 重視すべき能力像 (人間力、コミュニケーション能力、問題解決能力) を定義し、それを磨く方法を考える。<br>5. 適切な参考書、教材、模試などで自分の成績分析を行い、改善策を見出す。</td>
</tr>
<tr>
<td>あなたはドラえもんです。5分以内に東京から大阪まで移動しなければならないとしたらどうしますか？</td>
<td>こんにちは！ まずは、目的地を確認しましょう。<br>1. 公式通勤ルート：<a href="https://www.mhlw.go.jp/ueda/koukoku_0439.html" target="_blank" rel="nofollow noopener noreferrer">https://www.mhlw.go.jp/ueda/koukoku_0439.html</a><br>2. 東京都方面の新幹線や高速鉄道の停留所名：<a href="http://www.sogo.com/jp/nagoya_1/" target="_blank" rel="nofollow noopener noreferrer">http://www.sogo.com/jp/nagoya_1/</a><br>3. 大阪府方面の新幹線や高速鉄道の停留所名：<a href="https://www.sogo.com/jp/sapporo_1/" target="_blank" rel="nofollow noopener noreferrer">https://www.sogo.com/jp/sapporo_1/</a><br>4. 規定時間内に行ける交通機関（公共交通機関）の名称：<a href="https://www.sogo.com/midori/tokyo_1/" target="_blank" rel="nofollow noopener noreferrer">https://www.sogo.com/midori/tokyo_1/</a><br>次に、「天気予報」アプリを使用し、目的地に到着した直後に通知されるように配信されますので、チェックしてみてください。また「Google Maps」が活用可能です。<br><br>【注意】 天候状況によって、指示通りの移動方法になる可能性がありますので、事前に周囲の風向・雨量を把握することが重要です。</td>
</tr>
</tbody>
</table>
<p>モデルが小さいこともあり、知識を問うタスクは苦手そうです。<br>
また、MT-benchでスコアが比較的高かったロールプレイもうまく出来ていません。</p>
<p>色々と試した中では、2つ目の案出しのようなタスクには比較的強い印象があります。</p>
<h1 id="%E8%AA%B2%E9%A1%8C">
<a class="header-anchor-link" href="#%E8%AA%B2%E9%A1%8C" aria-hidden="true"></a> 課題</h1>
<ul>
<li>OSCARのデータクリーニングが不十分だった可能性がある</li>
<li>日本語でのSFTを十分に行えていない（jimba-oasst2の中身を確認せずにそのまま使ったため、ノイジーなデータが混ざっている可能性がある）</li>
</ul>
<h1 id="todo">
<a class="header-anchor-link" href="#todo" aria-hidden="true"></a> TODO</h1>
<ul>
<li>次は1～2Bクラスの学習を行ってみたい</li>
<li>Megatron-LMを扱えるようになりたい</li>
</ul>


Qwen/Qwen1.5-0.5Bを継続事前学習してみた【Tokara-0.5B】

Kendamarron/Tokara-0.5B-Chat-chatvector-v0.1

Discussion