目的
- Azure AI Studio の Benchmarks を使ってみたので、メモしておく
- まずはサクッとAIモデルを評価したい人に呼んでほしい
事前準備
Benchmarksで簡単にできること
- モデルの性能を比較するテストや評価を行うことができる
- AI モデルが特定のタスクやデータセットにおいてどのくらい機能するかを可視化できる
Benchmarksを触ってみる
-
Azure AI Studioはこちらからアクセス
- 「エクスプローラー」タブをクリック
- タスクは「質疑応答」、コレクションは馴染みの深い「AzureOpenAI」を選択
- モデルはこれまた馴染みの深い「Gpt-35」と「Gpt‐4」を選択
- 「リスト」をクリック、モデルを閉じてAverageで比較してみる
- 比較！
- 流暢性とGPTSimilarityとコヒーレンスも一応確認
- データセット：gsm8kに絞って確認。（gsm8kは、文章問題を含む小学生レベルの算術演算を学習しているモデル）
感想
- 今回は、馴染みの深いGPT系で確認したので、予想通りの結果となった
- モデル選定の第一歩目としては十分に使えそう
Discussion