Byte Latent transformerとContinuous Thought machineを知って思ったこと

特にContinuous Thought machineだが、これをみるとAIは数学的であると同時に、ソフトウエアだと再認識する。
今ある資源、GPUやサーバーの上で、いかにやりたいことを実現するかだと。
また、今がＡＩの黎明期で、今後ＡＩが研究をいろんな面、アリゴリズム、ポストＧＰＵ，量子コンピューター、生物コンピューター等を後押しすれば、爆発的に性能あがりそう
現在の単純なtransformer+スケールアップ+今のエージェント技術でも、いろいろできる、さらに上昇余地があること考えると、上記変化が起こったときすごそう！

Byte Latent transformerは１週間前位に知ったんだけど、その４日前にＬＬＭ勉強会で、文字が入力単位になるほうが良さそうと話してた。
ちなみに論文は去年末発表みたい

Continuous Thought machineは、まだちゃんと理解していないが、ちょうど昨日、ＬＬＭをもっと自由に、単体で、今エージェントプログラムでやっていることできないか考えてたところだった。

ちょっと前だと、これも以前から研究あったみたいだけど、拡散モデルをＬＬＭで適応とか出そうだなと思ってたら出てきた。

今研究者の数が増えていて、情報もすぐ伝達するから、自分が考えていることは、みんなまたは多くの人が考えている。
チャンスがあれば論文だせたりして？とか思うときもあるが、先に行く人は、考え、実装、実験、結果を出していることを理解をしてやっていこうと思った。