AIと読む「Inferring neural activity ~ beyond backpropagation」①
気になった英語の論文をAIで翻訳しながら読んでいきます。
論文はこちらです。
Inferring neural activity before plasticity as a foundation for learning beyond backpropagation
こちらの論文では、これまでニューラルネットワークで使用されてきた誤差逆伝播法(back propagation)という手法は生物の自然な学習に比べると不自然な制約が多く課されている点を挙げ、より生物学的学習に近い手法としてprospective configurationという手法を提案しています。
prospective configurationは動物や人間が直面しうる様々なタスクにおいて、back propagationに比べて効率的な学習を可能とするとともに、人間の学習実験で観察されたニューラル活動と行動のパターンをより自然に説明することができるものだそうです。
ただし最大の課題として、prospective configurationの計算過程であるrelaxation phaseの計算コストが高いことが挙げられています。
それでは本文に入ります。
概要
人間と機械の両方にとって、学習の本質は、情報処理パイプラインのどの部分が出力のエラーの原因となっているのかを特定することであり、これは「クレジット割り当て」として知られる課題です。これまで、クレジット割り当てはバックプロパゲーションによって最も良く解決されると考えられており、これは現代の機械学習の基礎でもあります。本稿では、「展望的構成」と呼ばれる、クレジット割り当てに関する根本的に異なる原理を提示します。展望的構成では、ネットワークはまず、学習によって生じるはずの神経活動のパターンを推論し、次に、シナプス荷重が変更されて、神経活動の変化が強化されます。この明確なメカニズムは、バックプロパゲーションとは対照的に、(1)皮質回路の確立されたモデル群における学習の根底にあり、(2)生物が直面する多くの状況において、より効率的かつ効果的な学習を可能にし、(3)多様な人間とラットの学習実験で観察される驚くべき神経活動と行動のパターンを再現することを示します。
本論
クレジット割り当て問題[^1]は、学習の中核をなすものです。バックプロパゲーション[^2]は、単純でありながら効果的なクレジット割り当て理論として、その誕生以来[^3]–[^5]、人工知能において目覚ましい進歩を遂げており、脳における学習の理解においても主要な位置を占めています[^1],[^6]–[^8]。この成功により、最近の研究の多くは、生物学的ニューラルネットワークがバックプロパゲーションと同様の方法でどのように学習できるかを理解することに焦点を当てています[^9]–[^12]。提案されたモデルの多くはバックプロパゲーションを正確に実装しているわけではありませんが、それでもバックプロパゲーションを近似しようとしており、この近似がどの程度近いかが重視されています[^9],[^11],[^13],[^14]。しかし、脳における学習は、多くの重要な側面でバックプロパゲーションよりも優れています。例えば、脳と比較して、バックプロパゲーションでは学習に刺激への暴露がはるかに多く必要であり[^15]、新しく保存された情報と以前に保存された情報の壊滅的な干渉が生じます[^16]。このことから、脳における学習を理解するためにバックプロパゲーションを使用することが、この分野の主な焦点であるべきなのかという疑問が生じます。
本稿では、脳は代わりに「展望的構成」と呼ばれる根本的に異なる原理でクレジット割り当てを解決すると提案します。展望的構成では、シナプス荷重が変更される前に、ネットワーク全体の神経活動が変化し、出力ニューロンがターゲット出力をより良く予測するようになります。その後、シナプス荷重（以下、「荷重」と呼ぶ）が変更されて、この神経活動の変化が強化されます。対照的に、バックプロパゲーションでは、順序が逆になります。荷重の変更が先行し、神経活動の変化は結果として生じます。
展望的構成は、生物学的な根拠が確かな、エネルギーベースのニューラルモデル群によって暗黙的に従われる原理として特定します。これらのネットワークには、ホップフィールドネットワーク[^17]や予測符号化ネットワーク[^18]が含まれており、これらは皮質における情報処理を記述するために使用されてきました[^19]。展望的構成の理論を裏付けるために、それが人間や動物が可能な効率的な学習をもたらし、人間と動物の学習に関する実験からのデータを再現できることを示します。したがって、一方では、展望的構成が、深い構造での学習、オンライン学習、限られた量の訓練例での学習、変化する環境での学習、複数のタスクによる継続的な学習、強化学習など、生物学的システムが直面するさまざまな状況において、バックプロパゲーションよりも効率的かつ効果的な学習を実行することを実証します。他方では、感覚運動学習、恐怖条件付け、強化学習など、多様な人間と動物の学習実験における神経活動と行動のパターンが、バックプロパゲーションではなく展望的構成によって自然に説明できることを実証します。
バックプロパゲーションが生物学的学習の基礎であるという信念に導かれ、以前の研究では、エネルギーベースのネットワークがバックプロパゲーションを厳密に近似できることが示されました。しかし、それを実現するために、ネットワークは不自然な方法でセットアップされ、教師信号を無限に小さく制約することで（例えば、平衡伝播[^11]や予測符号化ネットワークを使用した以前の研究[^12],[^20]のように）、または無限に短い時間続くようにすることで[^14],[^21]、神経活動が荷重修正前に大幅に変化するのを防ぎました。対照的に、これらの非現実的な制約のないエネルギーベースのネットワークは、バックプロパゲーションではなく、展望的構成という明確な原理に従い、学習効率と生物学的学習に関するデータの説明の両方で優れていることを明らかにします。
本稿では、展望的構成を直感的な例で紹介し、それがエネルギーベースのネットワークからどのように発生するかを示し、その利点を説明し、生物学的に関連する豊富な学習タスクのセットで定量化します。展望的構成が、多様な学習実験における神経活動と行動のパターンを自然に説明することを示します。
「Result」へ続きます。
Discussion