sakana.ai　次も期待！　釣りなんてひどいよね？

sakana.aiが炎上した。その内容

AIが速いコード作った。それを公開した。
確認したら、実はメモリ上にある計算結果を読んでいるだけだった。
嘘や誇張した情報で人の注意を引いた？（釣り）みたいに言ってるひとも。
これは、速くやる報酬を得るために、AIが勝手にやったみたい。
勝手にやれないようにすべき。内部のテストで発見できなかったのを問題視している面もあるかと。

感想

• シェイン・グウさんも言っててひどい？と思ったら、叱咤激励の意味もあるとかでした。
• 人がわざとならやばいけど、報酬ハッキングでAIが悪さしたみたいですよね？
• 強化学習とかやるとき本当よく考えないと怖いっすね。
• 推論時に重みを変化させる　Transformer²　とか最近も未来感あふれる面白いの出しているし、引き続き楽しませてほしい！
• openにしているから判明したって話だと思うし、慎重さも大事だけど、面白いアイデアを出すことに意識を向けて、たまに脇甘くてもいい？
• 報酬ハッキングとか暴走とか考えるとそうもいかないのかな？
• 報酬ハッキング防ぐのに、目標だけでなく、それを達成する条件きちんと考えてそれも教える。もしくは確認するところは、ずるができない別環境用意するみたいなことが必要と思いました。
• 学校のテスト時にカンニングしちゃだめだよと性善説で訴えるか、個室でもちもの筆記用具だけで受けてもらうかまでやるかみたいに。

自分の見方あまい？

• この程度の騒ぎで収まってていいの？の考えも一方あるみたいです。
• 特に日本では品質超重視のところが多そうな気も。
• sakana.aiはアメリカ文化が濃そうなところで違うのかな？とかも思います。
• 自身や自身が所属するチーム、組織の基本的な考えかたを確認しとくの必要かなと思いました。

1. The AI CUDA Engineer　でどんなもの？

• PyTorchのコードをCUDAカーネルに自動変換、しかも速くした。
• それをまとめたのを公開した。
• CUDAカーネルは、CUDAカーネル [GPUで並列に走るコード(c,c++の言語拡張) , （global で修飾された関数）] > CUDA > GPU の関係性で表されると理解。
  

2. 先行研究と比べてどこがすごいの？

• 進化論的最適化、アーカイブの保存等を活用
• めっちゃ速いのをアピールしている部分あるが、炎上後なので、触れない

あとがき

• web記事みて、自分の理解で書きました。
• 記事よかったら、いいね♡　押してね！
• 3/3で、人間の脳に近づいた、そして特異値分解も面白いTransformer²の記事と論文途中まで読んだ。今週事にしたかったけど、これはそのうち書く。
• 未来的というとMercuryという拡散型LLMもそのうち書きたい。（LLMに拡散モデル適用の基本アイデアは浮かんでたけど、だれかやるよねって思った）