プロンプトエンジニアリングは死んだらしい

元記事: https://spectrum.ieee.org/prompt-engineering-is-dead

ざっと軽く読んでみた感じ

• 比較的広範囲で支持されてるプロンプトエンジニアリングテクニックも結局はInconsistent
• 普通に時代は結果を計量的に評価できるモデルを作り、それを元に機械にプロンプトを試行させる! らしい

後者の計量的評価&試行のサイクルの一例としてDSPyが紹介されてる
論文: https://arxiv.org/abs/2310.03714
このDSPyは計量的評価のモデル&いくつかのプロンプト例を与え、最適なプロンプトを試行させるというものらしい。

実装は https://github.com/stanfordnlp/dspy に乗っかってて、ご丁寧にNotebookまで載ってるのでかなり気軽に試せそう。ご飯を食べたら試したい。

そういえば全然ここに書くの忘れてたんだけど一応実行みたいなことはして、雰囲気はわかったんだけど、微妙に抽象化されすぎててなんでこれでこうなるん? みたいなところがあった
まずDSPyを使った何かを作ってみて、その上で中身をより深く知りたい