GPTを使って自由記述文をスコアに変換する方法

Nocodeを使って1.5時間くらいでMVPを作る会で、評価システムを作りたいという人がいたので、一緒に取り組んでみました。マークシートや選択式の問題は機械的に判定できてましたが、自由記述文は人間が評価する必要がありました。この評価にGPTを使えないかというトライです。

chatGPTに代表されるGPTは無難な解答、つまり曖昧な解答をしてくるので、解答結果をシステム的に使うのが難しく、キャッチコピーの生成など、生成結果を人間が評価するタスクが主なターゲットでした。Promptとして

「HTMLで文字を赤色にするときのコードを書いてくださいと聞いた時に、
p { color: red}と返答した人はコーディングできるかを
10段階のスコアで答えてください」

のように10段階のスコアを出すように指令することで10段階のスコアを出力できます
上記のPromptの結果は

10：コーディングできる

となります。
ここからは検証を容易にするために
スプレッドシートにGPT関数を使えるようになる「GPT for Sheets™ and Docs™」を使って、MVPとなるスプレッドシートを組んでいきます。

E列に回答を入力するとPromptを生成し、A列のGPT関数で判定を行うシンプルな表です

すでに表示されてる通り回答を

p { color: blue}

に変更すると、評点は2点となりました。
何人かにシェアする中でFontタグを入れたらどうなると聞かれたので試してみました

結果は7点で、CSSで記述した場合よりは低いようです。1問で評価するのは難しいので、何問か問題を用意し平均で評価するようにしてみます。問題をchatGPTに用意してもらいました

スプレッドシートに組み込んで評価シートを作っていきます

結果は8点。HTMLのコーディングは苦手ですね。ビジネス的には技術のわからないCEOがエンジニア評価をするなど、これまでは評価者を用意できなかった領域に対して、AI評価システムを使うことで評価できるようになるのかなあと可能性を感じています。