Amazon Bedrockで遊ぼう
ちょっと今更感もあるかもしれないですが､Amazon Bedrockで遊んでみました｡
使うモデル
日本語を出力してほしいのでAnthropicのClaudeシリーズを使います｡
今後もっと日本語で出力できる高性能なモデルが増えるといいですね｡
ClaudeはOpenAIのChatGPTのように公式Webページからアクセスしたり､APIアクセスもできますが今回はBedrockから利用します｡
また､使用リージョンはus-east-1(バージニア北部)を使用します｡今後ap-northeast-1(東京)でも多くのモデルにアクセスできるようになると嬉しいですね｡
まずは素材の味
とりあえずClaudeの提供するそのままClaude V2.1, Claude 3 Sonnet, Claude 3 Haiku(以下V2.1, Sonnet, Haikuと表記します)を使ってみます｡
マネコンからBedrockを触ると同じプロンプトを複数のモデルに投入できる比較モードがあるのでそれで同じ文章を投げてみます｡
投げる文章は｢田村ゆかりさんってどういう人?｣です｡
ハルシネーションしまくりですね｡一部あってますが代表作は全然違いますね｡
そこはまあ仕方がないです｡メトリクスを比較してみましょう｡
さすがHaikuは早いです｡ただ一番出力トークンを使ってますね｡1回だけの結果ではなんとも言えませんが｡
知識を与える
Knowledge Base for Amazon BedrockでRAGを作りました｡
田村ゆかりさんについての知識を与えたかったので田村ゆかりさんのWikipediaのページを食わせてみました｡
Knowledge Base for Amazon Bedrockの構築方法はみのるんさんの記事を参考にどうぞ｡
自分が触ったタイミングだとSonnetとHaikuはKnowledge Baseのモデルとして利用できなかったのでClaude Instant V1.2とClaude V2, V2.1を使用しました｡
Instant
V2
V2.1
どれもそれぞれ知識のベースが同じファイルなので同じような返答が帰ってきましたね｡
これからやりたいこと
OpenSearch Serverlessが高いのでmomentoかPineconeを使って色々やってみようかなと思ってます｡
Discussion