あらまネット 技術紹介　第１回：従来のニューラルネットワークの弱点

近年のニューラルネットワークの発展には目覚ましいものがあり、様々な分野において大きな成果を上げています。ChatGPTなどのごく自然に会話できるAIや、本物と見分けのつかない動画の生成など、ニューラルネットワークは、かつては不可能だった複雑なデータ処理を実現できるようになりました。

このまま発展を続ければ、もっとすごいことができるようになると思われますが、一方で既存のニューラルネットワーク技術には弱点もあり、それが今後の発展を妨げる可能性があります。

従来のニューラルネットワークの弱点

弱点１　計算負荷が大きい

近年のニューラルネットワークの発展はアルゴリズムの進歩によるものもありますが、コンピューター自体の計算力の進歩に頼っているところも大きいです。
ある程度以上の規模を持ったニューラルネットワークを使おうとすると、一般に普及しているコンピューターでは計算力が足りないため、高価なGPUを積んだコンピューターを用いるか、サーバー上にあるニューラルネットワークに情報を送信してその結果を受信するといった方式をとる必要があります。
つまり現状の大規模ニューラルネットは非常にコストがかかるとともに、通信に制約のある状況では使えません。また、計算負荷が高いということはより電力を消費するということでもあり、環境にも良くないです。こういった現状から、小型の端末でも十分動作する計算負荷の小さいニューラルネットワークの需要が高まっています。

弱点２　訓練が大変

現状のニューラルネットの訓練には大量のデータと繰り返しの計算が必要になります。
ニューラルネットワークは誤差逆伝播という方式で訓練を行います。

弱点３　内部処理が不透明

ニューラルネットワークは出力を目的のものに近づけるために、学習によって勝手に計算処理のルールを見つけ出します。これこそがニューラルネットの有用性の所以ですが、一方で、具体的にどういった理屈でその処理を行ったのかはマシンのみぞ知る状態で、その理屈を人間が判断することが難しくなっています。
これは医療や自動運転など、安全性、信頼性の求められる場合には大きなリスクになります。万が一、ニューラルネットが誤った判断をして事故が起こったとき、なぜ起こったか分からないでは済まされないでしょう。また誤った判断を起こしたときに、どこをどう直せばよいのかわからなければ、改善することも難しくなります。

弱点４　ネットワーク構造が固定的

現在のニューラルネットワークの構築は、目的に応じてネットワーク全体の構造を設計してから、訓練によって内部のパラメーターを更新するという手法を取っています。訓練後に無駄なノードや接続を削除することもありますが、ネットワークの構造自体が大きく変わることはありません。
目的によって必要な精度の出せるネットワークの層とノードの数は異なりますが、訓練後にこれを変えることはできないため、最初に経験的に数を決めてから設計するしかないわけです。これでは、目的に対して過剰なサイズのネットワークになってしまう可能性や、訓練しても充分な精度の出ないネットワークになる可能性があります。

弱点５　訓練後に追加で知識を獲得できない

例えば、画像に映っているのが犬か猫かを判別するニューラルネットワークを作ったとします。
ここに加えて鳥も判別できるようにする場合、鳥のデータだけ与えて訓練を行うと、犬と猫の判別精度ががくっと落ちる現象が発生します。これを破壊的忘却といいます。これを回避するには犬猫鳥全てのデータを使っていちから再訓練しないといけません。

なぜこういった弱点があるのか？

こうしたニューラルネットワークの弱点は、主にネットワーク全体が一体となって最終出力を決定していることに起因していると思われます。
最終的な出力を出すのにネットワーク内の全てのノードが関わってくるので、ノードの数だけ計算を行わなければならず計算量が増えます。
全てのノードが協調して出力を決定しているため、一つ一つのノードの役割が不明瞭で、内部処理の解釈を困難にしています。
また、ネットワークの一部のノードに変更が加わると、それに合わせて他の全てのノードも変更しなければ最終出力が変わってしまうので、部分的な変更ができません。このためネットワークに少しの変更を加えたい場合でも、常に全体の変化に気を配らなければならず、訓練の難易度を上げてしまっています。ネットワークの構造自体を変えるといった大きな変化は、さらに難しいでしょう。

例えるなら、現在のニューラルネットワークは、短い棒をバランスよく組み上げて作った高い塔です。
一本の棒を少しでも動かせば全体のバランスが崩れて倒れてしまうので、慎重にバランスを調整しないといけません。

これらの弱点を解決するための研究も行われており、一定の成果は上がっています。しかし、それらの解決法はそれぞれの弱点に対して個別に対処する対症療法的なものでしかなく、ニューラルネットワークの根本的な弱点の原因を解決するものではないと自分は考えます。
あらまネットは、このニューラルネットワークの根本的な弱点の原因に正面から切り込んで、これらの弱点をまとめて解決できることを目指した技術です。