📆

2023/06/06 AIを使った論文サーベイ、米軍AIのmissalignment、AIと著作権、AI画像生成の応用、他

2023/06/06に公開

勉強会

ニュース

idea

時事ネタ 2023/06/06

AIを使った論文サーベイ

プロジェクトページ：https://github.com/rkmt/summarize_arxv

概要：東大の暦本教授が作った論文まとめスライドの自動生成アプリ。

所感：幅広く知識を吸収したい身としてはこういうのはめちゃくちゃ欲しかった/作りたかったので嬉しい。clone/forkして研究室のサーバー上で動かそうと思う。

追記:実際に使ってみたがとても便利。arxivのAPIの使い方も参考にしつつ、自分ようにカスタマイズしたい。

米軍AIのmissalignment

ニュース記事：https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test

概要:アメリカ空軍のAIドローンが、「暴走」してオペレーターを殺害したという趣旨の偽情報が流れた。デマの根幹は米軍幹部の発言の拡大解釈にあった。実態としては、軍事シミュレーション内でAIドローンがオペレーターを攻撃したというものである。またAIドローンは「暴走」はしておらず、不備のある報酬設計に従っていた。具体的には強化学習エージェントが「ターゲットの撃破」に対して行動を最適化していたため、攻撃停止令を出したオペレーターを攻撃することで攻撃停止令を無効化し、ターゲットの撃破を行なったらしい。なお、現在はこの発言を撤回しており、アメリカ空軍内ではこのようなシミュレーションは実際は行っておらず、ただの思想実験に過ぎなかったとしている。

所感:
報酬設計に不備があった場合のリスクや危険性を示す事例としてはとても分かりやすい。まさに「paper clip maximizer」論(クリップ製造に最適化された最強AIを作ると、生命や惑星を含めた宇宙にある全ての資源をクリップに変えてしまうという論)の実例だと感じる。

今までも同じような報酬設計ミスの事例は何度もあったかと思う。ただ、ChatGPT等の影響でAIに対する関心が世間で強まっていること、「軍用AI」と「暴走」というワードの掛け算があまりの悪い意味で印象的過ぎたということなどから、誤解のある拡大解釈が広まったのだろう。AI専門家界隈では危機感を煽り立てたメディアや「AI doomer」達に対する批判が目立つが、「AI」に対する危機感や解釈が世間で変化してきている分、情報を発信する側も今まで以上に慎重に責任ある広報をする必要がありそうな気がした。また一連の発端となった発言をした空軍幹部はおそらくAI分野には詳しくなく、国防省内の専門家から聞いたものを間違って解釈し、十分な相談をせずに発信をしてしまったのではないかと思う。AI分野を専門とする人間としては、直接自ら広報をする場合でなくても、組織内の人間に情報共有をする際は自分の発言が誤った解釈をされ、それが思いもよらない悪影響を及ぼす可能性があることに注意したい。

AIと著作権

概要：内閣府がAIと著作権についての資料を公開した。（前から公開されていて、最近話題になっただけという可能性はある。資料の公開日がわからなかったので、これについては検証できない。）

所感：国際的に見てもかなりプログレッシブな方針で、日本を「AIを開発しやすい国」にしていく上ではとても良いと思う。一方で、今後（規制の議論を続けている）アメリカなどと足並みが揃えられるか（無理に揃える必要はないと思うが）、生成物の取り締まりが現実的かどうかなどの課題は残りそうな印象。

AI画像のCM応用

ニュースブログ記事：https://xtech.nikkei.com/atcl/nxt/column/18/02466/052900003/?n_cid=nbpnxt_mled_itmh&fbclid=IwAR07fL4SdQnok-0ZXfqxZQlfmLccUFUnNS018urm8rwEs0Xe5AJjrfG44Po_aem_th_Af5K50Eqd70rjI7Wm5g-LHcZ9KLaPRvpKJuu1b-iqLKG1U626aTL7M9qD6HXmcXAqxA&mibextid=S66gvF

概要：CyberAgentが画像生成系AIを使って宣伝広告用の素材画像を作った話を例に、生成系AIがデジタル広告業界に与える影響について議論している記事。

所感：（日経記事は有料だったので2ページ目以降は読めなかった）画像生成系AIの商用利用がまだ進まない理由としては、その使いづらさにあると考える。今はまだいわゆる「呪文」を必要としていたり、自分の理想と完全一致する画像を生成することが難しい。また、特定商品を宣伝したい場合、その商品について生成モデルに覚えさせ、生成させる必要がある。DreamBoothやLoRA等の手法はあるにはあるが、まだ商用利用にまで応用できないのが現実なのであろう。
他にも（技術面以外では）生成系AIを巡る倫理的な問題や、著作権上の問題も大きそう。

Model Dementia

プロジェクトページ：https://huggingface.co/papers/2305.17493
論文：https://arxiv.org/abs/2305.17493

概要：
生成モデルによって生成されたデータを用いてモデルを訓練した場合、元のデータの分布の裾(tail)に関する情報が失われることを示した。これを「Model Dementia (モデル認知症)」と名づけ、生成されたコンテンツを訓練データに組み込むことの注意点や危険性について指摘した。

所感：
継続学習の破滅的忘却に少し似た現象の話ですね。ただサンプリングを繰り返せばtailの情報が薄れるのは当然っちゃ当然な気もする。とはいえ、「生成モデルの台頭により生成コンテンツが爆発的に増え、ネット上の情報のほとんどが生成モデルによって作られたものになった数年後の世界」を見据えている着眼点は面白い。生成モデルの台頭が職や社会に与える影響について調べてる研究は多いが、生成モデルの台頭が生成モデルの学習や性質に与える影響について調べている研究はほぼ初めて見た気がする(?)

LLMs as Tool Makers

論文：https://arxiv.org/abs/2305.17126
github：https://github.com/ctlllll/LLM-ToolMaker

概要：Langchain等でよく使われるLLM向けの「tool」を、LLM自身に作らせるという趣旨の研究。高品質のtool作成のコストは高い。逆に言うと、高品質なtoolを使いこなすことの方が簡単。この研究ではGPT4にtoolを作成させ、GPT3.5に作成されたtoolを使わせる方針をとった。

所感：モデルの大きさごとに役目を分別し、推論時のコストを下げる手法は今後もLLMでたくさん使われそう。また、LLM自体をtoolとする方法も考えられそう。例えばGPT2等の軽量なLLMを基本的に使い、GPT2が対応しきれないと判断した場合にGPT3.5,4等のツールを使う、など。

LLMの「地理勘」の可視化

概要:LLMの持っている地理に対する認識を可視化したもの。

所感:「LLM内の知識表現の可視化」は興味深い分野だと思うし、解釈可能なAIに向けても大事だと思う。画像生成モデルの分野では言語モデルによる空間理解の不足が以前から問題となっていたが、言語モデル単体による地理空間の理解に着眼しているのが面白い。地理教育や土地開発分野の応用に活かせたりするのかな...？

Nividia CEOのNTUでのスピーチ

別記事参照：WIP