日本語LLM評価データセットの huggingface/datasets 登録状況
最近、大規模言語モデルをベースとした自然言語処理では huggingface/transformers だけでなく huggingface/datasets を使うことが多くなっている。transformers がモデルをコミュニティで管理する仕組みなのに対し、datasets はデータセットをコミュニティで管理する仕組みである。
datasets で管理されたデータセットの例↓
データセットが datasets に対応していることが前提のフレームワークも増えてきた。例えば、日本語LLMの few-shot 評価でも話題の lm-evaluation-harness は、評価に使いたいデータセットが datasets に対応していないと評価できない。
こうした背景から、日本語のデータセットを datasets に登録していくという泥臭い作業が日本語LLM評価においても今後重要になっていきそうな予感がある(データセットが再配布OKのライセンスを付与されていれば、datasets に登録すること自体に問題はないというのが自分の理解)。
自分自身も、今年の初頭に JGLUE を datasets に登録しませんか?という GitHub Issue を雑に立てたところ、ありがたいことにしゅんけー (@shunk031) さんがすぐに対応してくださり、後々の LLM 評価に役立つという良い話があった。
なので、今回はそんな datasets にまつわる状況を周知するような記事を書いてみようと思う。
日本語LLMを評価するためのデータは各所でまとめられていそうだが、自分の知る限りLLM勉強会のPDFにあるまとめが一番網羅的な感じがする(JAQKETとかWRIMEとか、入れてもよさそうなデータセットは他にもたくさんあるけど)。
ここでまとめられている公開済み評価用データと、huggingface/datasets の登録状況を対応づけたものが以下の通り。
自分が把握している範囲でまとめているので、修正・更新の必要がある場合は Zenn のコメントに書いていただくか私に直接ご連絡ください。
タスクの種類 | データセット名 | huggingface/datasets の登録状況 |
---|---|---|
意味類似度判定 | JSTS (JGLUEの一タスク) | shunk031/JGLUE |
自然言語推論/含意関係認識 | JNLI (JGLUEの一タスク) | shunk031/JGLUE |
自然言語推論/含意関係認識 | JSeM | × |
自然言語推論/含意関係認識 | JSICK | hpprc/jsick |
自然言語推論/含意関係認識 | JaNLI | hpprc/janli |
文書分類 | MARC-ja (JGLUEの一タスク) | shunk031/JGLUE |
数式推論 | MAWPS (Math Word Problems) の日本語版?(詳細不明) | × |
推論 | JCommonsenseQA (JGLUEの一タスク) | shunk031/JGLUE |
時間推論 | Jamp | × |
有害表現検知 | 日本語有害表現スキーマ・データセット | × |
有害表現検知 | 日本語人権侵害表現データセット | × |
質問応答 | JSQuAD (JGLUEの一タスク) | shunk031/JGLUE |
テキスト生成(対話) | Japanese-Daily-Dialogue | × |
テキスト生成(対話) | JPersonaChat | × |
テキスト生成(対話) | JEmpatheticDialogues | × |
テキスト生成(要約) | XL-Sum-ja | mkshing/xlsum_ja |
統語的評価 | JBLiMP | polm-stability/jblimp |
感情分析(金融ドメイン) | chABSA | × |
ここにあるデータセットだけでも、まだまだ datasets に登録されていないものは多いなあという印象。
というわけで、今後は datasets へのデータセットの登録方法を調べていきたい。
Discussion