🔪

MOTの評価指標

2023/10/11に公開

前提知識

評価指標を学ぶ前にMOTの評価の基礎となることをまとめます。

予測されたトラックとGround-Truthのトラックの間のエラーは、3つ存在します。

検出エラー（Detection Error）
検出エラーは存在しない物体を間違って検出したり、検出できない場合のエラーです。
位置エラー（Localisation Error）
位置エラーは真の物体の位置と予測の物体の位置が異なる場合のエラーです。
関連付けエラー（Association Error）
関連付けエラーは異なるgtIDを持つ物体に同じprIDを割り当てたり、同じgtIDを持つはずの2つの検出に異なるprIDを割り当てた場合のエラーです。

実はこれ以外にもエラーの種類はありますが、この3種類のエラーだけでも十分に評価することができます。

Jaccard係数（Jaccard Index）は真の物体と予測した物体の類似度を表す尺度です。

Jaccard係数=\frac{|TP|}{|TP|+|FN|+|FP|}

この式の登場人物を解説します。

MOTAは、物体を正しく検出しつつ、同じIDで認識しているかを評価指標です。

MOTA=1-\frac{|FN|+|FP|+|IDSW|}{|gtDet|}

この式の登場人物を解説します。

$|IDSW|$
異なるIDを持つ2つのオブジェクトが重なり、IDが不正に交換したり、トラック自体を見失って間違ったIDで再初期化したときに発生する誤差のこと。

MOTAは誤差（分子）を真の物体検出数で割り誤差を平均化したのちに、1で引いています。1で引くということは誤差が少なければ大きな値になるので、1に近ければよい結果であるといえます。

MOTPは、IoUの平均値を計算したものであり、予測された物体位置が実際の物体位置とどの程度一致しているかを評価するための指標です。

MOTP=\frac{1}{|TP|}\sum_{TP}S

SはIoUを表します。つまりそれらを合計しその数で割ることで全体のIoUの平均を求めていることになります。

IDF1は、検出よりも物体の関連精度を重視する指標です。
この後に登場するIDTP・IDFN・IDFPについて紹介します。

IDTP（Identify True Positives）
予測した物体と実際の物体とのIDが正しく割り当てられている数。
IDFN（Identify False Negatives）
未検出の物体IDの数。
実際の物体にはIDが付与されているフレームにおいて、実際には物体が物陰に隠れた影響か何かで検出できなかった場合が考えられます。
IDFP（Identify False Positives）
誤って検出された物体IDの数。
予測ではIDが付与されているフレームにおいて、実際の物体IDと異なるIDを予測した場合などが考えられます。

ID-Recall=\frac{|IDTP|}{|IDTP|+|IDFN|}

ID-Precision=\frac{|IDTP|}{|IDTP|+|IDFP|}

IDF1=\frac{|IDTP|}{|IDTP|+0.5|IDFN|+0.5|IDFP|}

HOTAは、検出・関連・位置のすべての観点から同時に評価することができる指標です。
$AssA$ は、関連付け精度、 $DetS$ は検出精度を表す。

AssA=\frac{1}{|TP|}\sum_{c\in TP}Ass-IoU(c)

DetA=\frac{|TP|}{|TP|+|FN|+|FP|}

HOTA_{\alpha}

は

DetA

と

AssA

の幾何平均を表します。

HOTA_{\alpha}=\sqrt{DetA\cdot AssA}

\alpha

の値を0.05刻みで変化させ、平均をとるために

\frac{1}{19}

で割る。
位置決め閾値を変えることでHOTAスコアを均等に評価することができます。

HOTA=\int_{0}^{1}=HOTA_{\alpha}da\approx\frac{1}{19}\sum_{\alpha\in{0.05,...,0.95}}HOTA_{\alpha}