Claude3.5を使って、チャンクの文脈的な意味を保存する

始めに

この記事はこの投稿から始まる一連の投稿を参考に作成しています。

本文

RAGを使用するに、データベースに文書を分割したチャンクを利用する必要がありますが、分割の仕方によっては文脈的な意味が失われてしまうと思います。

そこで、Anthropicの関係者はClaudeを用いて、チャンクごとにその文章の意味を補強するための方法を提案しました。

内容はシンプルで、チャンクと文書そのものをClaudeに入力して、そのチャンクの文脈的な意味を解説した文章をチャンクに追加するだけです。

参考：https://x.com/alexalbert__/status/1836855024963698783

もちろんチャンクごとに文書を丸々入力するので、何も工夫しなければ入力トークンに関する費用がかさんでしますが、ClaudeにはPrompt Cachingが備わっているため、そのコストを劇的に抑えることができます！（100万トークンにつき約1.02ドルとされています。）
参考：https://x.com/alexalbert__/status/1836855130349859059

具体的な実装例も公開されているので、ぜひ挑戦してみてください！