🙌
WWDC前夜にAppleの気になる研究を見てみる ~ Sigmoid Self-Attention
AppleがAI推論モデルは偽物であり、単なるパターンマッチングマシンであると主張する研究論文を執筆を発表して、WWDCでどんな発表がされるかXで話題に
ちなにみ、話題の元論文を見てみたところ、パターンマッチングマシンであるという主張ではなかったので、こういうのは元論文をしっかり読むことが大事
Appleが2025年に発表した研究で気になってた研究 ~ Sigmoid Self-Attention
ソフトマックスアテンションに代わる手法として、適切に正規化されたシグモイドアテンションが、ソフトマックスアテンションと同等の性能を条件つきで発揮することを発見し、(universal function approximatorであることの発見)さらに独自ハードウエア実装FLASHSIGMOIDでパフォーマンス向上。
思ったこと
今後も、ソフトマックスのalternativeが出てくることが予想されるが、ソフトマックスと同等の近似力を満たすための適切なデータの前処理をすることってすごい大変なので、ビジネスチャンスなのでは？
ある条件を満たすと、ソフトマックスと同等の近似力を発揮するアルゴリズム結構出てきそう。
Discussion