はじめに
昨晩Difyの最新バージョン0.6.16が公開されました！
RAGのRetrieval SettingでN対1が廃止
N対1の検索戦略を2024年9月1日より段階的に廃止するそうです。
さらに、新たにマルチパス検索戦略を導入しています。
この新しいアプローチは、アプリの検索効率を上げるので、切り替えをお勧めとのこと。
Retrieval Setting関連のBlogを読む
こちらの記事に詳細が記載されているとのことで、NootbookLMと共に読んでいきます。
概要
Dify.AIは、知識ベース検索システムの強化を発表しました。従来の「N対1検索」戦略は2024年9月1日に廃止され、より柔軟な「マルチパス検索」戦略が導入されます。
「N対1検索」廃止の理由:
検索範囲が単一の知識ベースに制限される。
知識ベースの記述に対するLLMの解釈に大きく依存するため、不完全または不正確な検索結果が生じる場合が多い。
コミュニティからのフィードバックにより、これらの制限が明らかになり、より効果的なソリューションへの移行が決定された。
「マルチパス検索」の利点:
複数の知識ベースから情報を取得できるため、検索範囲が拡大する。
キーワードと意味の重み付けにより、検索の精度が向上する。
CohereやJinaなどの再ランク付けモデルと統合することで、最適なパフォーマンスを実現できる。
ユーザーへの影響:
Dify Cloudユーザー:
コンテキスト > 検索設定で、「N対1検索」から「マルチパス検索」に切り替える必要がある。
2024年9月1日以降は、デフォルトでマルチパス設定に自動的に更新される。
コミュニティおよびエンタープライズユーザー:
2024年9月1日以降にリリースされるリリースノートを参照する必要がある。
移行スクリプトと詳細が提供される。
「マルチパス検索」の最適化:
キーワードと意味の重み付け:
キーワードのみ、意味のみ、またはカスタムの重みバランスを選択できる。
再ランク付けモデル:
検索結果の精度をさらに向上させるために、再ランク付けモデルの実装が推奨される。
今後の展望:
Difyは、RAGシステムの改良に継続的に取り組み、柔軟性とオープン性を重視することで、多様なコミュニティと顧客のニーズに応えていく予定です。
総評:
今回のアップデートは、DifyのRAG機能を強化するための第一歩です。Difyは、ユーザーのフィードバックを基に、より柔軟でオープンなRAGシステムを構築し、生成AIアプリケーション開発プラットフォームとしての地位を確立することを目指しています。
Llama 3.1 サポート
Llama 3.1はmeta社が提供するオープンソースのLLMです。オープンソースということで、このLLMを活用したChatGPTサービスがいくつかあるのですが、そのうちOpenRouterとGroqCloudのLlama 3.1サポートが始まったようです。
下記記事のとおりDify Cloudユーザはすでに使えていたので、オープンソースで対応したということなのでしょう。
Llama 3.1 405Bを体験してみた
https://zenn.dev/acntechjp/articles/9217097622fcaa
さいごに
Difyの最新のバージョンアップについて記事にしました！日々進化し続けている生成AI界隈ですが、楽しんで追っていけたらと思います！
アクセンチュア株式会社所属の社員有志による運営です。アクセンチュアの社員による様々な発信をまとめています。なお、投稿内容は社員個人の見解であり、所属する組織を代表するものではありません。
Discussion