AIの学習についての考察
はじめに
AIの学習について、ちょっとした思いつきがあったのでメモ代わりに記載したいと思います。
そんなに突飛な思いつきではないですので、すでにそういった研究はされていてそんなに効果がないのかもしれません。
AIの学習と人間の学習の違いについて
人間の学習：まずは非常に単純なデータ(丸とか三角とか、一つの単語とか）から学習して、少しずつ複雑なデータを学習していく。また、体の成長に伴いニューロンそのものも増えていく。
現在のAIの学習：単純なデータから複雑なデータまで一度に学習して、単純なデータも複雑なデータもパラメータ数は固定。
これが結果として、AIは複雑なタスクも出来る時もあるが、非常に単純なタスクも出来ないというケースがあるように思います。
つまり、ベースとなる基本的な基本的な知能が出来る前に複雑な学習も同時に行なってしまっているため、基本的な知能が定着していないというということが考えられます。
（それでも人間に対して、圧倒的に学習量が多いのである程度はカバー出来ている？）
人間に近い学習を行うには
以下のようにステップに分けて、学習させていくことを検討
ステップ1
・より単純なデータ
・少ないパラメータのモデル
を利用して、学習を実施してベースとなる知能を獲得
ステップ2
・より複雑なデータ
・ステップ1のモデルに層を追加してモデル（ステップ1の層はパラメータ固定）
ファインチューニングのような形で、より複雑な知能を獲得していく
ステップ1から2を繰り返し行なっていくことで、人間の成長のような形でより高度な知能を獲得していくことが出来るのではないかと思いました。
最後に
とりあえずの思いつきで、そんなことは既に検証されている話なのかもしれませんが、アイデアメモとして投稿しました。
私自身で検証するスキルも時間もありませんが、こういった考え方も一つあるのかなと思いました。
言語モデルの場合検討するのは難しいそうですが、画像モデルであれば簡単に検証出来るかもしれません。
（丸や三角といった単純な図形を理解させるところから始めて、段階的に複雑な画像を理解させるというイメージ）
既にそんなことは検証されているなどありましたら、コメントください。
Discussion