fkunn1326

<p>LLM初心者なので間違ったことあるかもしれない</p>


<h1 id="chat-vector">
<a class="header-anchor-link" href="#chat-vector" aria-hidden="true"></a> Chat Vector</h1>
<p>モデルのマージ技術。モデルAとそれをFTしたモデルA'から差分をとって、同じ系統のモデルBにその差分を当てはめることでモデルA'の能力を引き継ぐというもの。実装自体も簡単で、</p>
<div class="code-block-container"><pre class="language-py"><code class="language-py">chat_vector <span class="token operator">=</span> model_a'<span class="token punctuation">.</span>k <span class="token operator">-</span> model_a<span class="token punctuation">.</span>k
model_b' <span class="token operator">=</span> model_b <span class="token operator">+</span> chat_vector
</code></pre></div><p>みたいな感じ</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/72227ccf9806-20240511.png" loading="lazy" class="md-img"><br>
<a href="https://arxiv.org/abs/2310.04799" target="_blank" rel="nofollow noopener noreferrer">論文</a>より</p>


<h1 id="moe-(mixture-of-experts)">
<a class="header-anchor-link" href="#moe-(mixture-of-experts)" aria-hidden="true"></a> MoE (Mixture of Experts)</h1>
<p>複数モデル(Experts)から、よさそうなものを選んで回答させようというもの。</p>
<ol>
<li>モデルのスコアを判別する<code>gate()</code>関数を用意</li>
<li>
<code>gate()</code>で得たスコアの高い順に重み付けして出力</li>
</ol>
<p>といった感じ、gate関数の実装方法はいろいろあるらしい</p>
