kojiro

<p>GRUの論文は<a href="https://arxiv.org/abs/1409.1259" target="_blank" rel="nofollow noopener noreferrer">ここ</a></p>


<ul>
<li>RNNの出力は、理論上はどれだけ遠い過去の入力の情報を反映させることができるが、<a href="https://arxiv.org/pdf/1308.0850.pdf" target="_blank" rel="nofollow noopener noreferrer">特に工夫をしなければ大体10時刻分程度であると言われている</a>。</li>
<li><a href="http://www.bioinf.jku.at/publications/older/ch7.pdf" target="_blank" rel="nofollow noopener noreferrer">通常のRNNは遠い過去の情報を記憶しておくことはできない</a></li>
</ul>
<p>上のことから言えることとしては、RNNが直近のわずかな自信の出力しか反映することができないとしたら、過去の間違った推論から修正するチャンスがほとんど与えられないということです。</p>


<h1 id="%E6%97%A5%E6%9C%AC%E8%AA%9E%E8%A8%98%E4%BA%8B">
<a class="header-anchor-link" href="#%E6%97%A5%E6%9C%AC%E8%AA%9E%E8%A8%98%E4%BA%8B" aria-hidden="true"></a> 日本語記事</h1>
<ul>
<li><a href="https://qiita.com/t_Signull/items/21b82be280b46f467d1b" target="_blank" rel="nofollow noopener noreferrer">https://qiita.com/t_Signull/items/21b82be280b46f467d1b</a></li>
</ul>
