省エネ

人間の脳は省エネの天才らしい
脳はたったの20ワットくらいの電力で、顔認識とか言葉の理解とか、超複雑なタスクをこなせるらしい
20ワットがどれくらいかいうイメージは自分の中にはないけれど、今のデジタルAIが処理するのに使うエネルギーの、1万分の1くらいらしいのだ。


Sparsity
人間の脳って、実は同時に活動してるニューロンは全体の10%以下らしく..そういう話はよく聞くけどそれってつまり、必要な部分だけが働く「sparsity」な状態ということらしい。
参考:

例:Temporal Sparsity
データに変化があったときだけ、その情報だけを伝えるってことらしい。
例えば、動画を見るとき、画面全体を毎回全部送るんじゃなくて、「ここが変わったよ!」って部分だけを送るイメージ。つまり、データのやり取りがめちゃくちゃ減るから、省エネに繋がる。

例:Spatial Sparsity
脳のニューロンって、ある「しきい値」を超えたときしか「オン」にならないらしい。
だから、弱い信号が来ても、すぐに反応しないで「沈黙」してる部分が多いということ。
こうやって、無駄な計算や処理をしないようにしてるから、ムダな電力を使わず省エネに繋がっている。

人間の脳が持ってる「必要な時だけ働く」っていう特徴以外にも、「処理と記憶が一体」「たくさんの場所で同時に処理する」みたいな省エネを実現するための素晴らしい仕組みがあるらしく。
そしたら、じゃあ脳みたいに賢いコンピュータをつくったら省エネになって電力問題とか環境問題とかの解決にもつながるじゃん、みたいな..そういうことを考えてる界隈があるらしく。研究者の方々って本当にすごいのだ。

脳の仕組みに学ぼう
脳の仕組みに学んでコンピュータの根本的な構造を変えようという試み
-> Neuromorphic computing

光通信のMultiplexing
1本の光ファイバーケーブルの中に、たくさんの情報を載せたい
どうするか?
答えはシンプルで、光の「色」、つまりWavelengthで情報を分ける
..ということらしい。
そしてそれは Photonic Computer という次世代コンピュータでも同じで「1つのコアに色々な色の光を送り込む」ということをするらしい。すると、「赤色の光にはAの計算」、「青色の光にはBの計算」みたいに、色ごとに違う情報を担当させることができる。
すると..?
1つのコアを動かすエネルギーでたくさんのデータを処理できるから、エネルギー効率もすごく良くなる。たった1つのチップの中で違う色の光を使うことで仮想的なプロセッサが何個も( 将来的には、64色とかもっとたくさんの色が使えるようになるかもしれないらしい)仮想的なプロセッサがあるのと同じくらいのパワーを持つことになってこれまでのマシンとは比べ物にならないスピードと省エネを実現する..
みたいな大雑把に言えばこういう世界観があるらしいのだ。

資料