Distinction Maximization Loss
わっしーロバストな決定論的ニューラルネットワークを構築することは、依然としてチャレンジングな課題です。
いくつかのアプローチでは、状況によっては分類精度を低下させる代償として、分布外検出を向上させています。一方、分類精度、不確実性推定、分布外検知を同時に向上させるが、推論効率が低下し、ハイパーパラメータを調整するために同じモデルを何度も学習する必要がある手法も存在します。
論文では、通常のSoftMax損失（線形出力層、SoftMax活性化、クロスエントロピー損失の組み合わせ）の置き換えとして機能するDisMax損失を用いた決定論的ニューラルネットワークの学習を提案している。
IsoMax+損失から、正しいクラスに関連するプロトタイプだけでなく、すべてのプロトタイプへの距離に基づいて、各ロジットを作成させている。
また、画像を組み合わせて、分数確率正則化(fractional probability regularization)と呼ばれるものを構築する仕組みを導入している。
さらに、学習後にネットワークを較正するための高速な方法を提示している。
最後に、分布外検出を行うための合成スコアを提案している。
実験によれば、DisMaxは通常、分類精度、不確実性推定、分布外検出において、同時に現行のアプローチを上回り、決定論的ニューラルネットワーク推論効率を維持し、ハイパーパラメータ調整のために同じモデルを繰り返し学習することを回避することができる。
わっしーIntor
最近、いわゆるIsoMaxロスの変種が提案されている。これらは、通常のSoftMaxロスを用いて学習させた純粋な決定論的ディープニューラルネットワークと比較して、推論効率を低下させることなくOOD検出性能を向上させることができる。また、ハイパーパラメータのチューニングのために同じモデルを繰り返し学習させる必要がない。しかし、分類精度や不確実性推定は向上しない。
Contribution:
論文では、IsoMax+損失から出発して、Distinction Maximization (DisMax)損失を構築している。
主張として、
- 正しいクラスへの特徴へのプロトタイプ距離だけでなく、すべての特徴へのプロトタイプ距離を用いて、拡張ロジット（logits+）を作成する。
- 複合画像に関連する出力確率分布と、整数確率ではなく分数確率を含む目標確率分布との間のKullback-Leibler (KL) divergenceを最小化することにより、分数確率正規化 (FPR) を導入している。また、FPR を用いない損失を DisMax dagger (DisMax†) と呼ぶ。
- 最大logit+、平均logit+、ネットワーク出力のエントロピーの3つの要素を組み合わせたOOD検出のための合成スコアを構築する。
- DisMaxで学習したモデルが高性能な不確実性推定を行うための、簡単で高速な温度スケーリング手順を提示する。
IsoMax+と同様に、DisMaxはSoftMaxロスの置き換えとして機能する。さらに、ハイパーパラメータのチューニングが不要なため、提案するソリューションを使用するために必要なニューラルネットワークのトレーニングは1回のみです。さらに、学習されたモデルは、決定論的なニューラルネットワークの推論効率を維持することができます。最後に、ロバスト性を向上させるためには、図1に示すように、より急峻でない3次元地形の損失を構成する必要があることを実験的に示す。
わっしー