🧑‍🦳

RAGに夢持ち過ぎないで!~RAGより大切なこと~

2024/06/25に公開

下記記事で軽く触れているのですが、生成AIアプリにRAGの設定をして、就業規則などのPDFをまるっと取り込んで、問い合わせチャットが作れるのは「幻想」です。
https://zenn.dev/acntechjp/articles/f1eccdb0b32a81

むしろ、上記の仕組みをクイックに導入したうえで、「データの質」「検索ロジック」をチューニングしていくのが肝ですし、そもそも「AIへの期待値コントロール」が非常に重要になってきます。

チューニングと聞くと、LLMの設定?RAGの設定?なにかパラメータをゴリゴリいじるんでしょ?と考えることは理解できます。半分当たっています。ただ、データも重要なのです。生成AIがキチンと回答できるようなデータじゃないと、うまくアウトプットできないのです。

たとえば、就業規則に「〇〇についてはしかるべき場所の文書を参照」と書かれている場合、生成AIは「しかるべき場所」と質問者に回答してしまいます。質問者は「そのしかるべき場所がどこなのか知りたいのに」。

なので、原本をそのままインプットにしても、よほどデータの質が高くない限りうまくいかないのです。
・AIの回答が人間が求めるものにより近づけるためにはデータをどのように加工すればよいのか
・原本に変更がはいったときに、効率的に加工しなおすにはどうしたらよいのか
この辺が、まさにAIアーキテクトの腕の見せ所だと思っています。

生成AIアプリの構築だけであれば、Difyもありますし誰でもできる時代になりました。
上記のAIアーキテクトの腕の見せ所のスキルを経験や学習を通じて、高めていくことが重要だと思いますし、私も精進します!笑

Accenture Japan (有志)

Discussion