Pre-TrainingとFine-tuningの違いについて

	Pre-Training	Fine-tuning
概要	大量のデータを使ってニューラルネットワークを訓練すること	訓練済みのニューラルネットワークを新しいタスクに適用するために微調整すること
データセット	大量のデータセット	新しいタスクに適用するための別のデータセット
目的	ニューラルネットワークを訓練すること	訓練済みのニューラルネットワークを新しいタスクに適用するために微調整すること
精度	新しいタスクに対して低い精度で予測ができる	新しいタスクに対してより高い精度で予測ができる

• 一番大きな違いは、「目的」の部分です。
  • 解決したい課題のためにモデルのパラメーターを更新するのは「Fine-tuning」
  • 汎用的な性能の高いモデルを作るためのモデルのパラメーターの更新がPre-Training

※認識が間違っている場合はコメントで指摘していただけると幸いです😅