生成データの品質と数のトレードオフ

結論:

• 同じ予算なら小さなモデルでたくさんサンプルしてFTする方が効率が良い。

Tips:

• Weak modelで生成した3NデータはFPRは大きいが、FT後のモデルはstrong modelで生成したNデータでFTしたモデルよりFPRが小さい。

所感

• Pass@KのKがサチったらこの法則は成り立たないだろう(よってデータやモデルの特性に依存するはず)
• 予算が青天井のKaggleではどうかな？

https://arxiv.org/abs/2408.16737