AWS Marketplace の Pinecone を Amazon Bedrock のナレッジベースとして利用する
RAG (Retrieval Augmented Generation; 検索拡張生成) を使用すると、エンタープライズ検索、データベース、API などの外部知識ソースからのデータへアクセスして、それをもとに大規模言語モデル (LLM) のテキスト生成を行うことができます。質問応答のために生成系 AI を使用する場合、RAG の仕組みにより、質問のクエリと最も関連性の高い最新の情報で回答を行います。さらに、その回答が正しいかユーザーが検証できるよう、データソースを引用として表示することもできます。
本稿では、AWS Marketplace からサブスクライブして利用できる Pinecone を Amazon Bedrock のナレッジベースとして利用する手順について紹介します。
Pinecone
Pinecone は、高次元のベクトルデータを扱うクラウドネイティブのベクトルデータベースです。Pinecone の基本的なアプローチは、ANN (Approximate Nearest Neighbor; 近似最近傍) 検索に基づいており、大規模なデータセット内でより高速なマッチを効率的に見つけ、ランク付けします。Pinecone は AWS のソフトウェアパートナーでもあります。AWS re:Invent 2023 のパートナーキーノートにおいて、アメリカの大手投資ファンド会社である Blackstone と Pinecone の協業に関して取り上げられました。
AWS Marketplace で Pinecone をサブスクライブする
AWS Marketplace は、AWS で稼働するサードパーティのソフトウェア、データ、サービスを調達して一元管理できるプラットフォームです。AWS Marketplace のカタログには何千ものソフトウェアが掲載されています。イメージとしては、Amazon.com で Kindle の本を買うような手軽さでソフトウェアの調達を行うことができます。しかも、ソフトウェアの料金は AWS の請求と一元化されます。
これの何が嬉しいのかを説明します。通常、ある程度以上の規模の会社は何かソフトウェアを購入しようとすると、稟議を上げて、予算を確保し、製品を購入した後もライセンスの管理など、さまざまな面倒ごとが絡んでくるものです。AWS Marketplace でソフトウェアを調達する場合は、すでに AWS を利用しているのであれば AWS の予算があるはずなので、新たな予算獲得プロセスを経ずに素早く進めることができます。また、ソフトウェア資産の管理機能もあります。
ありがたいことに Pinecone は AWS Marketplace でサブスクライブして利用することができます。まずはその手順を説明します。
はじめに AWS マネジメントコンソール を開いて、上部の検索バーに "marketplace" などと入力し、"AWS Marketplace Subscriptions" を開きます。
左ペインの "Discover products" を開くと、下図のようなカタログの UI が表示されます。右上の検索バーに "pinecone" などと入力して、"Pinecone Vector Database - Pay As You Go" をクリックすると Pinecone の製品ページが開きます
右上の "View purchase options" ボタンを押したあと、次の確認画面の "Subscribe" ボタンをクリックします。問題なく登録が完了したら画面右上に "Set up your account" というボタンが表示されます。このボタンを押すと Pinecone のユーザー登録画面にリダイレクトされます。
工事中
すみませんがあとは以下のPineconeのブログを読んでいただければ進められるので途中ですが一旦切ります。
近いうちにちゃんと記事として完成させるので少々お待ちを。
Discussion