LLMで欲しい答えを探索するメンタルモデル

背景

LLMで、何度も自分がほしい答えが出ないことはある。そんなときに思うのは、どういうメンタルモデルをもってLLMに挑むのがいいのかという問いだ。個人的に、いいメンタルモデルが作れたので、メモとしておいておく。

LLMでほしい答えにたどり着くためのメンタルモデル

おおよそ自分がぶち当たるのは、以下のパターン。

• 抽象的すぎて、具体的な行動に繋がらない。
• 具体的だけどそういうことじゃない
• LLMの出力によって迷子になる

個人的には、LLMを使いながら、以下の2軸を考えている

• 必要な偏差値が担保されているか
• 次の工程を踏まえた時、必要な抽象度か

図にすると、以下

偏差値がなぜ重要かというと、LLMは確率論でうごくから、何も考えずに利用すると、一般的なこと(偏差値50)をいう。 そのため、偏差値を高い回答が欲しいのであれば、ドメイン（業務）知識が必要。
例えば、

1. 「人気のでる商品を考えて下さい」
2. 「食欲の秋に健康的になる最適な人気のでる商品を考えて下さい」

1だと、誰でも思いつくようなことしか言えない。2だと、1より偏差値の高い回答が来る

抽象度がなぜ重要かというと、LLMに抽象度をコントロールされてしまい、こうじゃないないのにって出力になってしまう

1. 「人気のでる商品を考えて下さい」
   2.「人気のでる商品名を考えて下さい」

1だと、抽象的な商品が出てくる。2だと、より1より抽象度が低い商品が出てくる

なぜこのメンタルモデルがあったほうがいいか

メンタルモデルがあることによって、ほしい答えが出ていないときに次の手を迷わずに決めれる。
ほしい偏差値が無いなら、ドメイン知識が足りないことがわかるので、ドメイン知識で偏差値を上げることができる。ほしい抽象度ではないなら、出力のフォーマットを与えるなどして、ほしい抽象度を与えればいい。

まとめ

LLMの前に、欲しい抽象度とほしい偏差値を決めておくと、少なくともどこで迷っているのか分かり、探索の方向性がわかり、ほしい答えに素早くたどり着くことができると思う