👌

in-context learningとは

2023/02/11に公開

In-context Learning

In-context Learningとは,特定のタスクにおいてパラメーターを更新する(=個別タスクに適応する,fine-tuningするとも言います)ことなく,タスクをその説明や入出力例を見る中で学習することです。図8の例では,sequence #1で足し算,#2で文字並び替え,#3で英語からフランス語への翻訳といったタスクを学習しています。In-context Learningと,図8のようなouter loopでの学習(大規模コーパスを用いた事前学習)を組み合わせた学習はメタ学習と呼ばれています。

特に,In-context Learningにおいて与えられる入力が0,1,または十分少ない場合をそれぞれZero-shot Learning,One-shot Learning,Few-shot Learningと呼び,これらは事前に言語知識を身につけておき,タスクの説明や例を見る中で学習するという点において,人間と似ています。更に,事前学習済みモデルであったとしても特定のタスクに適応するためにラベル付きデータが必要であり,アノテーションに多大なコストがかかるという問題も解消します。
https://elyza-inc.hatenablog.com/entry/2021/03/25/160727#:~:text=In-context Learningとは,で学習することです。

Discussion