ファインチューニングとプロンプトエンジニアリングの違い

まず転移学習のとき、元となるモデルの重みは凍結されます。
それから、業務に合わせた学習をさせるために層を増やして増やした層を新しいデータで学習を行います。
１からやるより各段に楽にモデルが作れて、学習コストも低くなります。

しかし、元が完全に凍結されたモデルなので業務に特化させるにはもう一工夫いるということで、ファインチューニングです。

もとの学習済みモデルの中の一部の重みをさらに学習できるように解凍して、その部分も学習させて、さらに業務に特化させるという手法

プロンプトエンジニアリングはとてもかんたんで
まず、LLMの作りとしてアテンション機構と
LLMの中にあるアテンション機構の特性があることでうまくこの機能が活きます。
例えばサイコロを振るときに１～６が出目として考えられますが、プロンプトで奇数で何が出るか考えてというとLLMは奇数に集中することができ、出力が1，3，5になるようになります。

このように選択肢を絞って集中すべきデータを教えてあげるのがプロンプトエンジニアリングなのです。