Zenn
😄

GPT-4oファインチューニング実践ガイド：カスタムAIモデルの作成と活用

2024/08/23に公開
OpenAI
ChatGPT
Fine-tuning
生成 AI
GPT-4o
tech

はじめに

OpenAIが最近、GPT-4oのファインチューニング機能を公開しました。これにより、開発者は自身のデータを用いてGPT-4oモデルをカスタマイズできるようになりました。さらに、OpenAIは9月23日までの限定で、各組織に対して1日100万トークンの無料トレーニングを提供しています。

こちらが公式の発表です。

Today, we're launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.

この記事では、GPT-4oのファインチューニングプロセスを実際に試し、その手順と結果を詳しく解説します。この記事を読むことで、以下のような知識とスキルを得ることができます：

  • ファインチューニングの基本概念と利点
  • トレーニングデータの準備方法
  • OpenAI APIを使用したファインチューニングの実行手順
  • ファインチューニング前後のモデル性能の比較方法
  • ファインチューニングに関する注意点と料金情報

ファインチューニングとは

ファインチューニングとは、既に学習済みの大規模言語モデル（LLM）に対して、特定のタスクや領域に特化した新たなデータを用いて追加学習を行うプロセスです。これにより、モデルは特定の用途や文脈により適した出力を生成できるようになります。

主な利点：

  • 特定のドメインや業界に特化した応答の生成
  • 組織固有の知識や用語の理解と使用
  • より一貫性のある出力の提供
  • カスタムコマンドや指示への対応

GPT-4oファインチューニングの手順

1. トレーニングデータの準備

ファインチューニングの最初のステップは、高品質なトレーニングデータの準備です。OpenAIは特定のフォーマットでデータを要求します。

以下は、実際に使用したトレーニングデータのサンプルです：

{"messages": [{"role": "system", "content": "このチャットボットはプレミアリーグに関する質問に答えます。"}, {"role": "user", "content": "プレミアリーグの歴史について教えてください。"}, {"role": "assistant", "content": "プレミアリーグは1992年に設立され、イングランドのプロサッカーリーグです。それ以前はフットボールリーグとして知られていました。"}]}
{"messages": [{"role": "system", "content": "このチャットボットはプレミアリーグに関する質問に答えます。"}, {"role": "user", "content": "2023-2024シーズンの得点王は誰ですか？"}, {"role": "assistant", "content": "2023-2024シーズンの得点王はエルリング・ハーランドです。"}]}
{"messages": [{"role": "system", "content": "このチャットボットはプレミアリーグに関する質問に答えます。"}, {"role": "user", "content": "プレミアリーグで最多優勝を誇るクラブはどこですか？"}, {"role": "assistant", "content": "マンチェスター・ユナイテッドが最も多くのプレミアリーグタイトルを獲得しています。"}]}
{"messages": [{"role": "system", "content": "このチャットボットはプレミアリーグに関する質問に答えます。"}, {"role": "user", "content": "プレミアリーグの現在の順位表を教えてください。"}, {"role": "assistant", "content": "現在の順位表については公式サイトや最新のスポーツニュースをご確認ください。"}]}
{"messages": [{"role": "system", "content": "このチャットボットはプレミアリーグに関する質問に答えます。"}, {"role": "user", "content": "リヴァプールFCのホームスタジアムはどこですか？"}, {"role": "assistant", "content": "リヴァプールFCのホームスタジアムはアンフィールドです。"}]}

このフォーマットは、OpenAIのChat Completions APIと同様です。各行は1つの会話を表し、以下の役割が含まれます：

  • system: AIの役割を定義
  • user: ユーザーからの質問や指示
  • assistant: AIの理想的な応答

今回は、ChatGPTを使用して20個のトレーニングデータセットを生成しました。実際のプロジェクトでは、より多くの、そして本物のデータを使用することをお勧めします。

2. データフォーマットのチェック

OpenAIは、データフォーマットをチェックするためのツールを提供しています。このツールを使用して、データの形式が正しいことを確認します。

3. データのアップロード

準備したデータをOpenAIのサーバーにアップロードします。これはAPIを通じて行います。

from openai import OpenAI
client = OpenAI(api_key = "YOUR_API_KEY")

response = client.files.create(
  file = open("your_data_file.jsonl", "rb"),
  purpose = "fine-tune"
)

print(response)

成功すると、ファイルIDを含むレスポンスが返されます。このIDは次のステップで使用するので、控えておきましょう。

4. ファインチューニングの実行

アップロードしたデータを使用して、実際にファインチューニングを開始します。

job = client.fine_tuning.jobs.create(
  training_file = "YOUR_FILE_ID",
  model = "gpt-4o-2024-08-06"
)

print(job)

ファインチューニングには時間がかかるため、ジョブのステータスを定期的に確認する必要があります。

5. 結果の確認

ファインチューニングが完了したら、新しいモデルの情報を確認します。

# ファインチューニングジョブのリストを取得
jobs = client.fine_tuning.jobs.list(limit=5)

# 最新のジョブ情報を表示
print(jobs.data[0])

fine_tuned_modelフィールドに値が入っていれば、ファインチューニングが成功しています。

ファインチューニング前後の比較

ファインチューニングの効果を確認するため、標準のGPT-4oとファインチューニングしたモデルの回答を比較しました。

質問: "プレミアリーグについて教えて下さい。"

標準のGPT-4oの回答:

プレミアリーグ（Premier League）は、イングランドのトッププロサッカーリーグであり、1992年に設立されました。それ以前のリーグはフットボールリーグ・ファーストディビジョンと呼ばれていました。プレミアリーグは世界中で非常に人気があり、トップクラスのサッカークラブが競い合う場として知られています。
...（以下省略）

ファインチューニングしたGPT-4oの回答:

プレミアリーグはイングランドのプロサッカーリーグで、1992年に創設されました。20チームが参加し、シーズンは通常8月から翌年5月まで行われます。

ファインチューニングしたモデルの回答は、より簡潔で焦点が絞られています。
これは、トレーニングデータの性質を反映しています。

注意点

ファインチューニングは強力なツールですが、いくつかの注意点があります：

  1. 料金: OpenAIではファインチューニングとカスタムモデルの使用には追加料金がかかります。

    • ファインチューニング済みGPT-4o:

      • $3.750 / 1M input tokens, $15.000 / 1M output tokens

    • 標準GPT-4o:

      • $2.500 / 1M input tokens, $10.000 / 1M output tokens

      詳細はこちらからご確認ください

  2. データの品質: ファインチューニングの結果は、使用するデータの品質に大きく依存します。高品質で多様なデータセットを用意することが重要です。

  3. 過学習: 小さすぎるデータセットや、特定のパターンに偏ったデータセットを使用すると、モデルが過学習を起こす可能性があります。

  4. 倫理的考慮: カスタムモデルの出力が倫理的で適切であることを確認する責任は、開発者にあります。

まとめと今後の展望

GPT-4oのファインチューニングは、AIモデルを特定のニーズに合わせてカスタマイズする強力なツールです。この技術により、より精度の高い、コンテキストに応じたAIシステムの構築が可能になりました。

今後の展望として、以下のような発展が期待されます：

  1. 効率的な学習手法：
    より少ないデータでも効果的に学習できる技術の発展。

  2. モデルの解釈可能性向上：
    AIの意思決定プロセスの透明化による信頼性の向上。

  3. 専門分野への応用：
    医療、法律、金融など、様々な分野での専門的AIの活用。

  4. 倫理的配慮の重要性：
    AIの公平性や安全性に対する注意の必要性の増大。

ファインチューニング技術は、AI開発の新たな段階を示すものといえます。今後の動向が楽しみです。

関連書籍

今日から使えるファインチューニングレシピ

Discussion