AI/RAG/LLM/Agent 関連で気になったの毎日紹介する 2024/04/07

AI関係で気になった記事などを毎日紹介していく！
できるだけ続ける！

More agent is you need

arxiv: https://arxiv.org/abs/2402.05120
AIエージェントに関する論文。 複雑な処理をエージェントに追加して精度上げるなどがあるが、多数のエージェントによるサンプリングで精度を上げれると主張している。　エージェント興味ある方はぜひ

WhisperAX

記事: https://ascii.jp/elem/000/004/192/4192717/
Argmaxという企業が出しているプロダクトらしい。　Whisperをスマホアプリとして提供している。ストリーム入力にも対応しているよう。やはりストリーム対応は音声認識プロダクトとして需要高そう。精度はかなり落ちると思うけど

DBRX

記事: https://qiita.com/taka_yayoi/items/ea6293f8c72d6b1c4018
Databricksが開発したLLM。合計130Bとかなりパラメーター数は多いが、MoE(Mixture of Expert)構造により、すべてのパラメーターが毎回のクエリでアクティブ化されないらしい。性能としてはChatgpt-3.5-turboよりも少し劣っているくらいだと思われる。MoE系のモデル開発が最近活発になっている？？

RWKV-v6

モデル: https://huggingface.co/BlinkDL/rwkv-6-world
RWKVはRNNを並列化させたモデル。https://zenn.dev/jow/articles/f66d6403b9a509
モデル内部で行われるデコードがTransfomerのAttentionよりも高速なので、推論が高速なのが特徴。
こういった全く違うモデル構造のものも発展してくのか