🔠

プロンプトエンジニアリングテクニックまとめ

2023/07/17に公開

1件

prompt

LLM

idea

プロンプトエンジニアリング

Large Language Model（以降LLM）のプロンプトエンジニアリング、色々テクニックがあるのですが、全然名前と内容が一致しないので一度自分なりにまとめてみることにしました。

そもそも、LLMOps：基盤モデルに基づくアプリケーション開発のワークフローによると、LLMの開発には以下の3つのアプローチがあるとのことです。

LLMOps：基盤モデルに基づくアプリケーション開発のワークフローより引用

本記事ではその中の、In-Context Learningについて（要は、プロンプトを工夫してなんとかしましょうというアプローチ）のみ記載します。そして、更にIn-Context Learningを、この記事の内容で分類した図を以下に示します。

ここで出てくるIn-Context Learningのテクニック、結構名前がカッコいいというか、仰々しいんですよね。「Zero-Shotのゼロってどういうこと？（何もしないの？？）」とか「Learningとかついているけど、実際は学習してないじゃん！」など、よくわからなくなってしまうこと多いなと思っていたら、fukabori.fmという音声配信番組の97回目のエピソードでも同じようなことが語られてました。自分だけじゃなくて安心しました。この記事では、音声配信に出てくる内容の中でも、基本的な一部に関して紹介しています。

また、取り上げるプロンプトのテクニックは、誰かがちょっと試してみた的なオレオレプロンプトではなく、ある程度論文などで再現性が確認されているもの・OpenAIの公式情報で紹介されている情報を中心に、具体例や論文、公式情報と一緒にとりあげていきたいと思います。

In-Context Learning

概要

直訳すると「文脈を学習」でしょうか。よくわかりませんね。In-Context Learningは広い概念で、後のK-ShotとかChain of Thought(CoT)を内包するようなものと理解しています。

Learningと書いてありますが、実際にモデルを学習（ファインチューニングなど）をするわけではなくて、プロンプト内にいくつか具体例（タスク例）を挙げることで、モデルの出力をコントロールしていくプロンプトのテクニックです。

具体例

この後出てくるものは、ほぼ全てIn-Context Learningの範疇となります。

論文

https://arxiv.org/abs/2005.14165

Zero/Few/K-Shot

概要

In-Context Learningのために、プロンプトと一緒に提供されるタスク例の数Kに応じてK-Shotと呼ばれるらしいです。

Zero-Shotってどういうこと？と思ったら、タスク例がなく、単純に指示だけだとZero-Shotになるみたいです。Zero-Shotって何かカッコいいけど、実際は単に指示しているだけというね。

Kがちょっとだけ（多分1〜3くらい）だとFew-Shotらしいです。

Open AIの公式ガイドには、Instructionをプロンプトの最初に書いて、文脈(In-Context)は、"""か###で区切るのが推奨のようです。

具体例

Zero-Shotのプロンプトは以下です。

fried chickenを日本語に訳してください

Few-Shot（K=3)は、以下のように3つ例を挙げたプロンプトになります。

fried chickenを日本語に訳してください。

日本語訳例："""
apple > りんご
bear > くま
beer > ビール
"""

論文

https://arxiv.org/abs/2005.14165

Chain of Thought(CoT)

概要

思考の連鎖って、なんかかっこいいですね。

プロンプトのタスク例として、論理的思考の過程を記載すると性能が上がるという話みたいです。説明より具体例をみた方が分かりやすいと思います。

具体例

Chain-of-Thought Prompting Elicits Reasoning
in Large Language Modelsより引用

論文

https://arxiv.org/abs/2201.11903

Self-Consistency

概要

CoTの発展形です。Few-shotのCoTを使うことで、性能がアップするようです。

説明が少しむずかしいのですが、具体例を見たほうがピンとくるかもしれません。詳細は論文を参照ください。

具体例

Q：林には15本の木があります。林業従事者は今日、林に木を植える予定です。その後、21本の木があります。林業従事者は今日、何本の木を植えましたか？
A：15本の木から始めます。後で21本の木があります。差は、彼らが植えた木の数でなければなりません。したがって、彼らは21-15 = 6本の木を植えなければなりません。回答は6です。
Q：駐車場に車が3台あり、さらに2台の車が到着した場合、駐車場には何台の車がありますか？
A：駐車場には既に3台の車があります。2台の車が到着しました。これで、車が3+2 = 5台あります。回答は5です。
Q：リアは32個のチョコレートを持っており、彼女の姉妹は42個のチョコレートを持っています。彼らが35個食べた場合、彼らが残したピースの数は何ですか？
A：リアは32個のチョコレートを持っており、リアの姉妹は42個のチョコレートを持っていたことを意味します。つまり、もともとは32 + 42 = 74個のチョコレートがありました。35個食べられました。したがって、合計で残るのは74-35 = 39個のチョコレートです。回答は39です。

...

（略）

...

Q：私が6歳のとき、妹は私の半分の年齢でした。今、私は70歳です。私の妹は何歳ですか？
A：

Prompt Engineering Guide より引用