schnell

<h1 id="%E4%BA%8B%E5%89%8D%E5%AD%A6%E7%BF%92%E6%89%8B%E6%B3%95%E3%81%BE%E3%81%A8%E3%82%81">
<a class="header-anchor-link" href="#%E4%BA%8B%E5%89%8D%E5%AD%A6%E7%BF%92%E6%89%8B%E6%B3%95%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> 事前学習手法まとめ</h1>
<h2 id="masked-language-model">
<a class="header-anchor-link" href="#masked-language-model" aria-hidden="true"></a> Masked Language Model</h2>
<h2 id="permutation-language-model">
<a class="header-anchor-link" href="#permutation-language-model" aria-hidden="true"></a> Permutation Language Model</h2>
<h2 id="replaced-token-detection">
<a class="header-anchor-link" href="#replaced-token-detection" aria-hidden="true"></a> Replaced Token Detection</h2>


<h1 id="%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0">
<a class="header-anchor-link" href="#%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0" aria-hidden="true"></a> 活性化関数</h1>
<h2 id="%E3%82%B7%E3%82%B0%E3%83%A2%E3%82%A4%E3%83%89%E9%96%A2%E6%95%B0">
<a class="header-anchor-link" href="#%E3%82%B7%E3%82%B0%E3%83%A2%E3%82%A4%E3%83%89%E9%96%A2%E6%95%B0" aria-hidden="true"></a> シグモイド関数</h2>
<p>1次元特徴量の変換に用いられる。式は以下<br>
</p><section class="zenn-katex"><embed-katex display-mode="1"><eqn>\mathrm{sigmoid}(x) = \frac{1}{1 + \exp{(-x)}}</eqn></embed-katex></section><br>
値域は<embed-katex><eq class="zenn-katex">(0,1)</eq></embed-katex>になり2値分類問題の出力層の活性化関数としてよく使われる。入力が正なら1よりの値、負なら2よりの値<p></p>
