🍺

🤖💯Elyza-tasks-100 人間の回答をAIに評価してもらうシステム作ってみた

2024/07/19に公開

LLM

各種LLMの日本語タスク性能を測る指標である、ELYZA Tasks 100 のタスクデータセットを使用し、人間の回答をGPT-4oで採点し、その結果を他のAIモデルと比較&回答および採点結果をデータとして蓄積させるためのシステムを作ってみたので、その経緯および紹介を記事にしてみました。

動作としては以下のような感じです。

🌟 プロジェクトの概要

このプロジェクトの主な特徴は以下の通りです：

Elyza Tasks 100の質問に対する人間の回答を受け付ける
GPT-4oを使用して回答を採点・評価
採点結果を他のAIモデル（HODACHI/EZO-Humanities-9B-gemma-2-it、GPT-4、Claude 3.5 Sonnet）と比較
採点結果をグラフで視覚的に表示
Docker対応で簡単にセットアップ可能

💡 開発の経緯

当初の野望

最初は、このシステムを Web アプリとして一般公開し、Elyza Tasks 100 の回答データを大量に収集することを目指していました。集めたデータは「高品質な人間の回答データ」として、LLM のファインチューニングなどに活用できたらいいな、と淡い期待を持ってました。

現実の壁

しかし、実際に自分でElyaza-tasks-100の問題を解き始めると...これが予想以上に苦行。。100問もあるタスクセットを丁寧に回答するのは、かなりの時間と労力を要するものでした。私は途中で挫折しましたが

全問人力でやり切った上でかつ自身の回答結果を公表している以下記事にはあらためて敬意を表します。

ここで我に返り、一般のユーザーからちゃんとした回答データを大量に集めるのは、相当なPR力がないと難しいなと考えました。

方向転換：OSSとして公開へ

そこで、方針を変更し、個人的なデータ収集プロジェクトとしてではなく、OSSとして公開することにしました。これにより：

他の開発者やAI研究者が自由に利用・改良できる
教育目的での活用も可能
コミュニティの知見を取り入れてプロジェクトを成長させられる

という利点が生まれる？といいなと期待しています。

🛠 技術的な詳細

使用技術

バックエンド: Python (FastAPI)
フロントエンド: HTML, JavaScript (Chart.js)
AI API: OpenAI GPT-4o
コンテナ化: Docker

↑とはいえこの辺はClaude 3.5 Sonnetに以下要件を入れ、叩き台として出てきたファイル群をClaude.aiのProjectに放り込んで微修正してもらい仕上げました。以下1番最初のプロンプト。

<指示>
以下のユーザーの要望をきいて、リポジトリとコードを作成できるレベルの要件定義書及び仕様書を作成して。なお、少しでも疑問点があれば私に質問してください。

<要件> 
* Elyza Tasks 100という日本語のタスク例が100個書かれたcsv(添付のcsv)をもとに問題を出題し記述式で人間に回答させる。 
* このWebアプリ自体はオープンソースとして公開するため、使用する人によって出題用のcsvを変えられるよう、ある程度汎用性を持たせたい。
* 各タスクの回答毎に、裏でgpt-4o apiが1から5の5点満点で採点をつける。 
* gpt-4o採点のために指示するプロンプト等は設定ファイルで簡単に変更できるようにしたい。
* 回答結果およびそれに対するgpt-4oの採点結果をcsvとして保存できるようにしたい。csv内のセッション名称(カラム)は、テスト回答前にユーザーが入力する名前とその時の日付情報をもとに作成する。
* csvに書いてある出題に回答し終えると、別ページにとび、各設問の平均点を算出し、事前に評価されたgpt-4やclaude3 haiku opusなどのAIの点数と比較するグラフをインタラクティブなダッシュボード上で確認することができる。 
* 回答数が多いため、途中回答でもあとから回答できるようにする 
* gptのapi代以外はコストが極力かからないようにすること。 
* 簡単かつメンテナンス容易な構成とすること。 
* ただしGoogle formsで回答させるのは見栄えやインパクトがないためそこも考慮したい。なお、認証機能は不要です。
* フォルダやファイル数は極限までシンプルにしつつ、上記のようにある程度LLMに自動採点してもらうリポジトリとして汎用的に使えるといい。
* API KEYなどは.envで管理できること。
* リポジトリからgit cloneした後にdockerで簡単に立ち上げられること。

主要機能

ユーザー回答の受付: シンプルなWeb UIで回答を入力
GPT-4oによる採点: 回答を自動で評価し、スコアと理由を提示
結果の可視化: ユーザーのスコアと他のAIモデルを棒グラフで比較
データの蓄積: 回答と採点結果をCSVファイルに保存

工夫したポイント

Docker対応により、環境依存性を最小限に
なるべく直感的に操作できるようにしたつもり
どのようにデータを保存するか、など。

余談

APIで呼び出せないMS Copilot(旧Bing Chat)を、このシステムを使ってブラウザ上でコピペしながら評価してみました。

🙏 おわりに

元々フロントエンド等には全く縁がない、(というかそもそもIT系の仕事はしていないのですが)このプロジェクトを通じて、「どうすれば回答しやすいか？」とか「蓄積したデータはどのような形だと扱いやすいか？」など色々意識できるきっかけになりました。LLMにある程度コードを書いてもらえると自分が注力したいところにリソースをかけられるのはいいなあ、と思いました。
最後までお読みいただき、ありがとうございました。乾杯！🍻