たった32個のパラメータでLLMを超えるSVG？それは本当？！
はじめに
驚くべきニュースが先日入ってきました、それは下記です。 これが本当であれば、OpenAI等が提唱していたスケール則は本当に過去の概念になってしまうはずです。これは期待しかない。 Neuripsにも採択されているようです。上記はポスター。
過去に提唱していた元ネタ論文
ざっくり読んでみると、テキスト分類時にプロンプト等によるzero-shot/few-shotでLLMを分類器として使うのではなく、LLMをカーネル関数（文章同士の意味的な類似性を測る）として使い、その上でSVM（サポートベクターマシン）のように軽量で説明可能な分類器を構築するというものです。
上記は論文の引用ですが、SVGがどのように「代表的な文（サポートベクトル）」を選び、分類の根拠として重み付けしているかを示しています。左の映画レビュー分類では、「素晴らしい演技」などのポジティブ文や「退屈で忘れやすいストーリー」といったネガティブ文が根拠になっていることがわかります。右の文ペア同義判定では、「He wrote a book / He authored a book」といった同義文や「She is a nurse / She is a doctor」といった非同義文が根拠に。いわゆる流行りのXAIとしての仕組みを持っていることが特徴的ですね。
つらつら書いてきましたが。。このSVGのターゲットのタスクは、テキスト分類です。
ニュース記事ではあたかもLLMと同じことが全部できるように見えますが、実際はちょっと異なるようです。やはり32のパラメータで生成タスクは難しそうな気はしますよね。。でも、人間の脳は5bitくらいしかないらしいです（笑）
それでも使えるかも？！と思った活用先
RAGのリトリーバー
質問とドキュメントの類似性を図る今までのキーワード検索やベクトル検索では限界があることもよく知られています。これを軽量なSVGでもし類似度をLLM並に高精度に測定できるのであれば、非常に高精度なリトリーバーになることが期待できます。しかも、ドメイン特化学習が容易ならばなおさら有用と期待できそうです。
マルチAIエージェントのタスクの引き渡し
（個人的に感じている）業務特化型マルチAIエージェント等で、ドメイン特化すぎる場合にLLMによる分類器がまともに成り立たないので、こういったところにも活用出来たら意外にインパクトある気がします。そのほかにも、入力に対し、RAGする or RAGしない（＝LLMの自己知識を使う）のような分類も実は結構難しいので。。
→これ以外でもいろいろありそうですが、いま私が従事しているものではこれくらいでしょうか。ほかのアイデアある人はコメントでぜひ！👍
まとめ
今回のニュースの内容とSVGの実際の論文はちょっと違うところもありそうですが、最新技術が日本で色々出てくるのを見るのはエンジニアとしても非常に楽しいことです。また、SVGについては、どうやら開発したIYPコンサルティングさんという企業さんがAI EXPOで登壇するようで、ブースでもこのSVGについての説明があるようです。もちろんですが現場で参加ししっかり話を聞いてきたいと思います。
Discussion