<h1 id="llm-jp-eval%E3%81%A8%E3%81%AF">
<a class="header-anchor-link" href="#llm-jp-eval%E3%81%A8%E3%81%AF" aria-hidden="true"></a> llm-jp-evalとは</h1>
llm-jp-evalとはLLM-JP（LLM勉強会）で作成された複数のデータセットから大規模言語モデルの評価を手軽に行うことができるリポジトリである。 
<iframe id="zenn-embedded__02b6b6b6582df" src="https://embed.zenn.studio/card#zenn-embedded__02b6b6b6582df" data-content="https%3A%2F%2Fgithub.com%2Fllm-jp%2Fllm-jp-eval" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://github.com/llm-jp/llm-jp-eval" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/llm-jp/llm-jp-eval</a>
v1.0.0では以下のNLPのタスクが評価できる。
<ul>
<li>MC(Multi-Choice QA)：jcommonsenseqa</li>
<li>NLI(Natural Language Inference)：jamp、janli、jnli、jsem、jsick</li>
<li>QA(Question Answering)：jemhopqa、niilc</li>
<li>RC(Reading Comprehension)：jsquad</li>
</ul>
v1.1.0では上記の評価に加えて以下が追加されている(ELとFAの正式名称が分からない…)。
<ul>
<li>EL：chabsa</li>
<li>FA：wiki</li>
</ul>
本記事では2023年12月31日現在の最新版であるv1.1.0を試してみる。
<h1 id="%E7%92%B0%E5%A2%83%E6%A7%8B%E7%AF%89">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83%E6%A7%8B%E7%AF%89" aria-hidden="true"></a> 環境構築</h1>
環境構築はREADMEの手順に従ってpipを使用して行う。
<h2 id="%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> インストール</h2>
<ol>
<li>llm-jp-evalのインストール</li>
</ol>
<div class="code-block-container"><pre><code>git clone -b v1.1.0 https://github.com/llm-jp/llm-jp-eval.git
cd llm-jp-eval
pip install .
</code></pre></div><ol start="2">
<li>configファイルをテンプレートからコピー</li>
</ol>
<div class="code-block-container"><pre><code>cp configs/config_template.yaml configs/config.yaml
</code></pre></div><h2 id="%E8%A9%95%E4%BE%A1%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%A8%E5%89%8D%E5%87%A6%E7%90%86">
<a class="header-anchor-link" href="#%E8%A9%95%E4%BE%A1%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%A8%E5%89%8D%E5%87%A6%E7%90%86" aria-hidden="true"></a> 評価データセットのダウンロードと前処理</h2>
<div class="code-block-container"><pre><code>python scripts/preprocess_dataset.py \
 --dataset-name all \
 --output-dir eval_dataset \
 --version-name dataset_version_name \
</code></pre></div><h1 id="%E8%A9%95%E4%BE%A1">
<a class="header-anchor-link" href="#%E8%A9%95%E4%BE%A1" aria-hidden="true"></a> 評価</h1>
今回はお試しということで<a href="https://huggingface.co/llm-jp/llm-jp-1.3b-v1.0" target="_blank" rel="nofollow noopener noreferrer">llm-jp/llm-jp-1.3b-v1.0</a>を使用して評価を試してみる。
<h2 id="config.yaml%E3%81%AE%E7%B7%A8%E9%9B%86">
<a class="header-anchor-link" href="#config.yaml%E3%81%AE%E7%B7%A8%E9%9B%86" aria-hidden="true"></a> config.yamlの編集</h2>
config.yamlはllm-jp/llm-jp-1.3b-v1.0を使用する場合は、テンプレートからdataset_dirさえ変更すれば正常に動作します。
その他の設定は評価対象のデータ等に合わせて変更する。詳しくは<a href="https://github.com/llm-jp/llm-jp-eval/blob/v1.1.0/README.md" target="_blank" rel="nofollow noopener noreferrer">README</a>のその他のオプションを参照。
<div class="code-block-container">
<div class="code-block-filename-container">config.yaml</div>
<pre class="language-yaml"><code class="language-yaml">defaults:
 - model: llm-jp_llm-jp-1.3b-v1.0.yaml
 - _self_

# basic information
tokenizer:
 pretrained_model_name_or_path: "llm-jp/llm-jp-1.3b-v1.0"
 use_fast: false
max_seq_length: 2048
dataset_dir: "./eval_dataset/dataset_version_name/evaluation/test"
target_dataset: "all" # {all, jamp, janli, jcommonsenseqa, jemhopqa, jnli, jsem, jsick, jsquad, jsts, niilc, chabsa}
log_dir: "./logs"
torch_dtype: "bf16" # {fp16, bf16, fp32}
custom_prompt_template: null
# if you use this, please include {instruction} and {input}. If you use few shots, please include {few_shots_text} additionally.
# example of prompt template for few-shots
# "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。\n\n### 指示:\n{instruction}{few_shots_text}\n\n### 入力:\n{input}\n\n### 応答:\n"
# example of prompt template for zeroshot
# "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。\n\n### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:\n"
custom_fewshots_template: null
# Please include {input} and {output}
# example of few-shots template
# "\n\n### 入力:\n{input}\n\n### 応答:\n{output}"

wandb:
 log: false # true for logging WANDB in evaluate_llm.py
 entity: "your/WANDB/api/entity"
 project: "your/WANDB/api/project"
 run_name: "run name" # use run_name defined above


metainfo:
 version: "1.1.0"
 model_name: "llm-jp/llm-jp-1.3b-v1.0"
 model_type: "llm-jp" # {llm-jp, external model, ...}
 instruction_tuning_method_by_llm_jp: "None" # {"None", "Full", "LoRA", ...}
 instruction_tuning_data_by_llm_jp: ["None"] # {"None", "jaster", "dolly_ja", "oasst_ja", ...}
 data_type: "dev" # {"dev", "test"}
 num_few_shots: 4
 max_num_samples: 100 # -1 for all data

generator:
 top_p: 1.0
 #top_k: 0
 #temperature: 0.1
 repetition_penalty: 1.0

# hydra settings
hydra:
 job:
 env_set:
 TOKENIZERS_PARALLELISM: false
</code></pre>
</div><h2 id="%E8%A9%95%E4%BE%A1%E3%81%AE%E5%AE%9F%E8%A1%8C">
<a class="header-anchor-link" href="#%E8%A9%95%E4%BE%A1%E3%81%AE%E5%AE%9F%E8%A1%8C" aria-hidden="true"></a> 評価の実行</h2>
以下のコマンドで評価を行う。
<div class="code-block-container"><pre><code>python scripts/evaluate_llm.py -cn config.yaml
</code></pre></div>評価完了後、config.yamlで指定した出力ログレクトリに以下のようなログファイルが出力される。 
rinna/japanese-gpt2-smallだとモデルが小さいこともあり評価はあまり良くないですね。
<div class="code-block-container"><pre><code>{
 "scores": {
 "AVR": "0.2086",
 "EL": "0.0792",
 "FA": "0.0714",
 "MC": "0.1400",
 "NLI": "0.3340",
 "QA": "0.2845",
 "RC": "0.3426",
 "chabsa_set_f1": "0.0792",
 "jamp_exact_match": "0.3600",
 "janli_exact_match": "0.5000",
 "jcommonsenseqa_exact_match": "0.1400",
 "jemhopqa_char_f1": "0.3115",
 "jnli_exact_match": "0.6100",
 "jsem_exact_match": "0.0000",
 "jsick_exact_match": "0.2000",
 "jsquad_char_f1": "0.3426",
 "jsts_pearson": "0.0000",
 "jsts_spearman": "0.0000",
 "niilc_char_f1": "0.2575",
 "wiki_coreference_set_f1": "0.0129",
 "wiki_dependency_set_f1": "0.0824",
 "wiki_ner_set_f1": "0.0000",
 "wiki_pas_set_f1": "0.0047",
 "wiki_reading_char_f1": "0.2570"
 },

-------------------------------------------------------
以下略
-------------------------------------------------------
</code></pre></div><h1 id="todo">
<a class="header-anchor-link" href="#todo" aria-hidden="true"></a> TODO</h1>
llm-jp/llm-jp-1.3b-v1.0のモデルを<a href="https://huggingface.co/rinna/japanese-gpt2-small" target="_blank" rel="nofollow noopener noreferrer">rinna/japanese-gpt2-small</a>に変えてみたところ、wiki_readingとwiki_dependencyのタスクが正常に計測できない。
wiki_readingはoutput_lengthを256に設定することでエラーは回避できる。 
正常に計測できる方法を調査する。
<h2 id="output_length%E3%81%AE%E5%A4%89%E6%9B%B4">
<a class="header-anchor-link" href="#output_length%E3%81%AE%E5%A4%89%E6%9B%B4" aria-hidden="true"></a> output_lengthの変更</h2>
wiki_readingのデフォルトのoutput_lengthは512に設定されているのだが、私の環境ではこれだと正常に動作しなかったため256似変更している。
output_lengthはeval_dataset/dataset_version_name/evaluation/test/wiki_reading.jsonから変更が可能である。
<div class="code-block-container">
<div class="code-block-filename-container">wiki_reading.json</div>
<pre class="language-json"><code class="language-json">{
 "instruction": "与えられたテキストを全てひらがなに変換してください。",
 "output_length": 256,
 "metrics": [
 "char_f1"
 ],

-------------------------------------------------------
以下略
-------------------------------------------------------
</code></pre>
</div>

llm-jp-evalを試す

評価データセットのダウンロードと前処理

Discussion