bilzard

MTP(multi token prediction)
<ul data-line="2" class="code-line">
<li data-line="2" class="code-line">DeepSeekV3で導入されたトークン先読みモジュール</li>
<li data-line="3" class="code-line">学習を効率化する目的で導入。推論時は用いない</li>
<li data-line="4" class="code-line">将来的に投機的デコードとして利用できるかもとコメントしている</li>
</ul>
Tips
<ul data-line="8" class="code-line">
<li data-line="8" class="code-line">出力トークンのn-gramを用いれば、DeepSeekV3の先読み（MTP）は1-token先読みするだけで良くなる</li>
</ul>
<img src="https://storage.googleapis.com/zenn-user-upload/cc0966afb6ff-20250205.jpeg" loading="lazy" class="md-img"> 
<img src="https://storage.googleapis.com/zenn-user-upload/6318e2f3d029-20250205.jpeg" loading="lazy" class="md-img"> 
<img src="https://storage.googleapis.com/zenn-user-upload/8ad4cb874d8a-20250205.jpeg" loading="lazy" class="md-img"> 
<img src="https://storage.googleapis.com/zenn-user-upload/b242a889035a-20250205.jpeg" loading="lazy" class="md-img">