はじめに
AWS re:Invent 2024が始まります。私は現地へ向かうことができませんでしたが、毎年新しいサービスの発表等があり今年もワクワクが止まりません！
re:Invent 2024の開幕に先駆けて早速Bedrockに新しいAPIが追加されることが発表されましたので、どんな内容なのかを一緒に確認していきましょう。
注意: 記事を読んだだけの速報になり、実証検証はまだできていません。
TL;DR
- ナレッジベースへのナレッジの追加、確認、削除がBedrock APIのみで完結できる
- 上記のAPIを使用するとナレッジの同期を手動で行う必要がなくなる
- RAGアプリの回答精度向上を目的とした新しいモデル「mazon Rerank 1.0」 「Cohere Rerank 3.5」登場
発表の概要
早速概要の確認です。タイトルは「New APIs in Amazon Bedrock to enhance RAG applications, now available」となっており、どうやらBedrockにRAGアプリを強化するためのAPIが追加されたようです。
具体的には主にナレッジベースに関する新機能らしく
- 「Support for custom connectors and ingestion of streaming data.」
- 「Support for reranking models.」
上記2つについて記事の中で解説するとあります。カスタムコネクタとストリーミングデータの取り込みサポートとリランキングモデルのサポートが始まるとのことですが、これだけだと何のことかいまいちわからないので詳細を見ていきます。
「Support for custom connectors and ingestion of streaming data.」
詳細を確認すると
Developers can now efficiently and cost-effectively ingest, update, or delete data directly using a single API call, without the need to perform a full sync with the data source periodically or after every change.
ということで、どうやら今までナレッジベースを追加した後に必ず行なっていたナレッジベースの同期の作業を簡略化することができるようです。
今までは、基本的に同期の際は特定のファイルだけの同期ではなく、ナレッジベース全体の更新を今までは必要としており、時間がかかるケースがあったと思います。ここが簡略化されるみたいです。
これは嬉しい！
With support for custom connector and ingestion of streaming data, customers can now use direct APIs to efficiently add, check the status of, and delete data, without the need to list and sync the entire dataset.
また、今まではナレッジのソースをS3に対して一度保存を行い、その後に同期を行うというフローが一般的でしたが、上記によれば、Bedrockに対するAPIだけで、ナレッジを追加から同期まで行なってくれるようです。
これも嬉しすぎる！いちいちS3にアップロードする手間が省けますね。
個人的には面白そうと思ったのは、解説の中でStreamingデータにも対応すると書いてありIoTとの連結が例として挙げられています。リアルタイムに近いスピードでナレッジを適宜更新できるのであればIoTと連結してもっと面白い使い方が確かにできそうです!
具体的なAPIについてはドキュメントを参照していただきたいですが、ファイルの追加、削除、
ナレッジベースに追加されているファイルの一覧取得（？）、ナレッジベースのデータファイルの取得が可能になりそうな雰囲気です。そして上記の操作の後、同期をするという手間が完全に省略できるようです！
この機能に関しては全てのリージョンで使用可能ということです！
「Support for reranking models」
詳細によると、
new Rerank API in Amazon Bedrock to offer developers a way to use reranking models to enhance the performance of their RAG-based applications by improving the relevance and accuracy of responses.
ということで、こちらはRAGの精度向上を目的とした新しいモデルの発表報告のようです。
現状ナレッジベースに追加された内容はSemantic searchが行えるようにEmbeddingsされます。ユーザーの質問をもとにSemantic searchが行われ関係値の高い内容が回答として使用される分けですが、ユーザーの質問内容が複雑化したり、曖昧であったりするとどうしても回答の精度が落ちてしまいます。
ここに切り込むためのモデルのようです！
仕組みとしては
Advanced reranking models solve for these challenges by prioritizing the most relevant content from a knowledge base for a query and additional context to ensure that foundation models receive the most relevant content, which leads to more accurate and contextually appropriate responses. Reranking models may reduce response generation costs by prioritizing the information that is sent to the generation model.
ということでナレッジベースから取得する情報に対して優先度をつけることでユーザーの意図にマッチした回答を返す仕組みのようです。このおかげで、後続処理のスピードも早くなるかも？とのことです。
正直どれくらい変わるのかは動かしてみないとわからないかなというところです。
こちらの新しいモデルに関してはUS West (Oregon), Canada (Central), Europe (Frankfurt), Asia Pacific (Tokyo)で利用可能ということです
今回の発表記事の内容は以上です。
まだ速報ということで、理解が正確でない部分や実際の検証は終わっていませんが、AWS re:Invent 2024が開始されていないのにもかかわらずとてもアツい内容でしたね！
ぜひ新機能に関してチェックしてみてください
NCDC株式会社( ncdc.co.jp/ )のエンジニアチームです。 募集中のエンジニアのポジションや、採用している技術スタックの紹介などはこちら( github.com/ncdcdev/recruitment )をご覧ください！ ※エンジニア以外も記事を投稿することがあります
Discussion