【SNN】スパイク数依存を捨てて「アナログ決断」を導入したら学習精度が爆上がり！
お久しぶりです、SNN（スパイキングニューラルネットワーク）で凄い性能のAIが作れないか試行錯誤しています、ろーるです！
因みに私がSNNで凄いAIを作りたいというのは、
- SNNそのもので凄いAIを作る。
- SNN開発を通し、新たな超効率的な情報処理方式を発見し、新しいコンピュータ開発に応用する。
このどちらになるかは未だ分かりません、というかどちらも目指しています⋯。
前回の更新から大分間が空いてしまいました！
前回は「海馬・大脳基底核・新皮質」モデルを統合し、推論性能が上がったことを書きました。
本当はもっと早く次のモデルの更新＆Zennの記事更新をしたかったのですが、モデルを進化させるのに時間がかかってしまいました…(;^_^A
今まで起きてた問題
今回更新が遅れたのは主に次のような課題に直面していました。
- 安定して学習しない：学習後のテストの正答率の差が激しい。
- 破滅的忘却：新しいルールを覚えると、前のルールを忘れてしまう。
- てんかん発作と脳死：パラメータを少し変えるだけで、全ニューロンが暴走（発火率100%）するか、沈黙（発火率0%）するかの極端な挙動を示す。
まあ新しくモデルを追加で統合するとやはり不安定になってしまいがちです。
しかもどんどんモデルが大きく複雑になり、尚更原因の特定が難しくなっていたようです…。
本当に生物の脳は神が作った超効率の良い情報処理装置なのだと思います…。
悩みまくった挙句、私はチャットGPTにシミュレーションプログラムを見せ、ディープリサーチで問題の原因を探ってもらいました。
提案してもらった解決策
GPTには主に次のような問題点と解決策を提案してもらいました。
-
入力信号に「構造」がない
これまでは全ニューロンにランダムなノイズ（ホワイトノイズ）を入力していたため、脳が文脈ごとの違いを区別できませんでした。そこで、「空間的に構造化された発火パターン（特定のニューロン群だけを活性化させる入力）」 を与えるように変更しました。 -
シナプス結合の無秩序な増大
細胞の結合の強さ（重み）の制御がうまくできていませんでした。そこでL2正規化という数学的な手法導入しました。これにより重要な結合だけが生き残り、不要な結合は淘汰される「健全な競争原理」が働き、「エネルギーの総量を一定に保てる」ようになりました。 -
ホメオスタシス（恒常性）がない
生物の脳は、発火しすぎたら感度を下げ、静かすぎたら感度を上げる「自動調整機能」を持っているが、これまでのモデルにはそれがないため、暴走するか静まるかの二択になっていました。 -
意思決定をスパイク数だけで決めている（これを改良し格段にモデルの正答率が改善！！）
従来の私のモデルでは、選択肢AとBどちらを選ぶかの最終的な意思決定を「発火したスパイクの回数」だけで決めていました。そして例えば選択肢Aに反応するニューロンと選択肢Bに反応するニューロンが同じ10回の発火だった場合は同点と見なしていました。しかし、ニューロンの内部状態（膜電位）をよく見ると、実はニューロンAの方がずっと興奮度が高かったかもしれないのです！
これまでの評価方法
# スパイク数だけで勝負
score_0 = sum(spikes_0) # 33
score_1 = sum(spikes_1) # 33
# -> 同点なので適当に選ぶ
今回（v3.0）の評価方法
# 重み付き入力電流（実質的な膜電位）で勝負！
# スパイク数だけでなく、シナプス結合強度も含めた「勢い」で見る！
score_0 = dot(spikes, weights_0) # 33.5 (判定勝ち！)
score_1 = dot(spikes, weights_1) # 33.2
# -> スパイク数が僅差でも確実に「0」を選ぶ！
改善されたモデルの性能
今までとモデルの性能の評価方法は同じで、以下の3つのフェーズ（各フェーズ200回ずつ）で学習とテストを行っています。
- フェーズ1：文脈0が来たら「行動0」を選択するように学習。
- フェーズ2：文脈1が来たら「行動1」を選択するように学習。
- フェーズ3：文脈がランダムに切り替わり、適切な選択ができるかテスト。
※結果のグラフは、横軸が試行回数、縦軸が正答率（赤い破線が50％を示す補助線）、青い線がモデルの正答率
まずは前回の、「海馬・新皮質・大脳基底核」を統合した「スパイク数による評価」を行うモデルの成績
良い時で60～80％辺りを行き来して、50％（2択問題なので適当に選んだ場合そのくらい）よりはいいですが、まだまだ成績としては低いです。
次に今回の、「海馬・新皮質・大脳基底核・視床」を統合した「スパイク数とニューロンの内部状態も含め評価」を行うモデルの成績
結果は一目瞭然なくらいに今回のモデルが「学習した」と言えます。
フェーズ1ではずっと正答率100％をキープし、フェーズ2ではフェーズ1に過学習したのか一時的に成績が落ちていますが、また急速に適応しています。
そしてフェーズ3のテスト時ではどちらの文脈にも対応できています！
考察など
因みに視床モデルは、視覚刺激を皮質へ送るゲートの役割のようなモデルですが、視床モデルを統合しただけでは性能は上がりませんでした。
デジタルな「スパイク数」とアナログな「膜電位」 という、この両方を使いこなすアプローチこそが、実用的な脳モデル構築への鍵でした！
フェーズ2では一時期ガクンと成績が下がってしまいましたが、次は「小脳モデル」も統合し、更に優秀なモデル構築を目指したいと思います！
Discussion