3連休挑戦で記事たくさん書くつもりが、かけないので、まとめ記事

初めに

いろいろパラで読んだこともあり、間違っているかもしれないが、今のこう理解でいいよなと思っている内容で書きます！

どんなもの1

Biological Processing Unit
ショウジョウバエの脳の配線をAIのモデルに置き換え、主要な部分は固定、データencorderと出力のdevorderだけ学習したら、いろんなタスクで効率的でめっちゃ賢かった！
同じパラメータ位だとMLP,Transformerに勝つ(画像分類、チェスパズル)
大きくする工夫もした
... 昨日知った。今日論文全部読んだ！

感想

もしかしたら、置き換えたモデルとEnc,DecがRNN構造でsakana.aiみたい時間持っていると思われるが、そっちの効果がおおきい可能性はないだろうか？

どんなもの2

DnD LLM
LoRAの重みをＡＩで推論したら、LoRAよりよかった。
クロスドメインでもテスト確認
... 知ってはいた。一昨日からいろいろ調査、論文半分は読んだ

感想

LoRAより良かったとのことだが、LoRAがみていないドメインでテストしているなら、LORA適用前の素のLLMと比べる方がだとうと思った。LoRA学習したドメイン以外が弱くなってそうだから

どんなもの3

Wider or Deeper?
深さ、幅探索両方やる木探索でタスクを解く。強い！複数LLMのどれを使うとか、深さ、幅探索どちらやるとか判断するAIモデルがある。
... 知ってはいた。一昨日sakana.aiの記事は読んだ。論文途中

どんなもの4

VdocRag
画像含むRAG向けに、フレームワーク作成。事前学習に工夫
... 木曜に勉強会で知った、一部聞いた。一昨日論文全部読んだ！

感想

Clip使うのと、埋め込みでどう意味合いが違う、有利だったのか不明だったりする、

どんなもの5

The Automated but Risky
llmで売買させる実験。売り手がどれを選ぶかが大きく影響
... 先週か先々週半分ほど読んだ。金曜夜結構進めた.

感想

設定が単純すきると思った。
ただTOYOTAの多数のエージェントシュミレーションが、実測値とかなり近いのとかみて、まあまあ単純でもいい動きしてくれるかもとも思った

どんなもの6

AIの帝国（本）
OPENAIが秘密主義で帝国のようなもの？　
...著者インタビュー動画見た。水曜ちょっと見た。残り今日含め週末

感想

AIを恐れるまえにOpenAIやGAFAMをやはり恐れるべきか？それとも活用...