AIチャットボット開発の気づき(6)

RAGのリランキング その2

LLM と RAG を利用した Slackボット OssansNavi の開発・運用で得た気づきの記録です
今回は 2024年4月頃の開発内容を紹介します

前の記事: (5) RAG のリランキング その1

OssansNavi は質問内容から様々なキーワードを考えて、Slackグループ内を検索します。
しかし Slackグループ内の検索結果は膨大なので、全てを RAG 入力して2024年4月当時として高価な GPT-4-Turbo で回答を生成すると LLM のコストが増えてしまいます。

そこで API利用料が安価な GPT-3.5-Turbo を利用してメッセージの選別を行い、ユーザーの質問に関係するメッセージのみに仕分けます。
すると API利用料が高価な GPT-4-Turbo に入力する情報を最小化できるため、トータルのコストを低減できます。

2024年4月当時の API利用料は以下でした。

モデル	入力/1,000,000トークン	出力/1,000,000トークン	コンテキストサイズ
GPT-3.5-Turbo	$0.5	$1.5	16K
GPT-4-Turbo	$10.0	$30.0	128K

GPT-3.5-Turbo は賢さが低いのですが GPT-4-Turbo の 1/20 の価格なので膨大な情報の仕分け作業にはうってつけです。
さらに GPT-3.5-Turbo のコンテキストサイズは 16K と非常に狭いのですが選別作業は分割して繰り返すことが可能です。

処理の流れを図に表すと以下のようになります。