Haystackチュートリアルをやってみる: Fine-Tuning a Model on Your Own Data（途中）

https://haystack.deepset.ai/tutorials/02_finetune_a_model_on_your_data

多くのユースケースでは、SQuADやNatural QuestionsなどのパブリックなQAデータセットで訓練された既存の公開モデルを使用するだけで十分です。しかし、専門的な領域の質問がある場合、カスタムなデータセットでモデルをファインチューニングすることで、パフォーマンスが大幅に向上する可能性があります。これは領域によって異なりますが、約2000の例で簡単にパフォーマンスを+5〜20%向上させることができることがわかりました。

Colaboratoryで進める。

GPUを有効にする必要があるので、「ノートブックの設定」で"T4 GPU"を使用する。

インストール。

%%bash

pip install --upgrade pip
pip install farm-haystack[colab,inference]

テレメトリー有効化。

from haystack.telemetry import tutorial_running

tutorial_running(2)

ロギング設定。

import logging

logging.basicConfig(format="%(levelname)s - %(name)s -  %(message)s", level=logging.WARNING)
logging.getLogger("haystack").setLevel(logging.INFO)

Haystackはちょっと自分の探していたものとは違うのと、最近はもう触っていないので、クローズ。