🧑🦳
RAGに夢持ち過ぎないで!~RAGより大切なこと~
下記記事で軽く触れているのですが、生成AIアプリにRAGの設定をして、就業規則などのPDFをまるっと取り込んで、問い合わせチャットが作れるのは「幻想」です。
むしろ、上記の仕組みをクイックに導入したうえで、「データの質」「検索ロジック」をチューニングしていくのが肝ですし、そもそも「AIへの期待値コントロール」が非常に重要になってきます。
チューニングと聞くと、LLMの設定?RAGの設定?なにかパラメータをゴリゴリいじるんでしょ?と考えることは理解できます。半分当たっています。ただ、データも重要なのです。生成AIがキチンと回答できるようなデータじゃないと、うまくアウトプットできないのです。
たとえば、就業規則に「〇〇についてはしかるべき場所の文書を参照」と書かれている場合、生成AIは「しかるべき場所」と質問者に回答してしまいます。質問者は「そのしかるべき場所がどこなのか知りたいのに」。
なので、原本をそのままインプットにしても、よほどデータの質が高くない限りうまくいかないのです。
・AIの回答が人間が求めるものにより近づけるためにはデータをどのように加工すればよいのか
・原本に変更がはいったときに、効率的に加工しなおすにはどうしたらよいのか
この辺が、まさにAIアーキテクトの腕の見せ所だと思っています。
生成AIアプリの構築だけであれば、Difyもありますし誰でもできる時代になりました。
上記のAIアーキテクトの腕の見せ所のスキルを経験や学習を通じて、高めていくことが重要だと思いますし、私も精進します!笑
Discussion