Zenn
😆

AI Scientist : 速報！

2024/08/18に公開
AI
機会学習
LLM
agi
aiscientist
tech

話すこと

  • AI Scientistの説明（自分の理解で話す）
  • 落合洋一式論文の読み方で書く（その観点には数字の番号を振った）

読者対象

  • AI論文書きたい人
  • AIエージェントの活用例を読みたい人

1. どんなもの？

2. 先行研究と比べてどこがすごいの？

  • 最初の完全自動化論文作成システム（今は駆け出しのML研究者レベル？）

3. 技術や手法の"キモ"はどこにある？

  • 部分部分使われていた技術を、うまく統合したことと思った。
  • 性能のいいreviewerを作れたこと。

4. どうやって有効だと検証した？

  • reviewerはICIR2022の公開データで検証(人間とほぼ同等に見える）

  • 自己修正や例を上げることで採択されたか否かの正解率が上がっている

  • 種になる基本アイデアを渡していくつかつくってもらい、統計的に評価

  • 作った論文をreviewerが採点した分布

  • AIが作った論文を人間が評価（本文では、以下の論文を詳しく見ていた）

5. 議論はあるか？

  • 便利になる分リスクもあがる
  • これをもとにいいエコシステムを作るための最適の手順は何か？

6. 次に読むべき論文はあるか？

思ったこと

  • AI研究ですごい課題解決があったわけでなく、既存の研究をうまく応用、成熟化させたものに見える。日本が応用力高いなら、この分野面白い！　だからsakana.aiは日本拠点にした？
  • 自分も論文読んでいて、いつもアイデアが浮かぶ。これを使えば、アイデアだけだして、残りやってもらうこともできる。（計算資源クリアできれば）
  • 途中の実験結果を出しているのが通常の論文と違ってマイナスとして語られているが、同時に有効でもあるといっているように、アルファ碁の手が理解されてなかったことと同じかも？
  • 09/14追記　上記は他の勉強会で説明きいてて気が付いた。途中全部載せているみたい、それはさすがに良くないかなと思った。
  • AI知見やIT力より、専門分野の知識がめっちゃ重宝されそう！
  • ロボットが進んだら、自動研究加速しそう
  • いろんなエージェントが進み、他分野、他知識で協力してきたら別世界になりそう
  • コスト気にしなければ、マルチモーダル、試行回数等で、すぐ性能上げられそう。

論文情報・参考資料・次に読む？記事

あとがき

記事よかったら、いいね♡　押してね！

Discussion