Open2

MOTチャレンジの評価指標

0y00y0

はじめに

MOT (Multiple Object Tracking)チャレンジは、複数のオブジェクトを動画中で追跡するアルゴリズムの性能を評価するためのベンチマークとされています。

0y00y0

評価指標の詳細

MOTA (Multiple Object Tracking Accuracy)

MOTAは追跡精度を示す指標で、間違ったマッチング(追跡対象と追跡結果が異なる場合)、未検出(追跡対象を見失う場合)、偽陽性(追跡対象がないのに追跡結果が出る場合)の3つのエラーを考慮します。これらのエラーの総数を全てのグラウンドトゥルースのオブジェクトの総数で割った値を1から引いたものがMOTA値となります。この値が大きいほど、追跡性能が高いと評価されます。

MOTP (Multiple Object Tracking Precision)

MOTPは追跡精度を示す指標で、正確に追跡されたオブジェクトの位置の精度を示します。具体的には、各フレームにおける予測された位置と実際の位置の間の平均距離を計算します。この値が小さいほど、追跡の精度が高いと評価されます。

IDF1 (ID F1 Score)

IDF1スコアはオブジェクト識別の精度を評価する指標で、追跡対象の識別番号が一貫しているかを評価します。F1スコアは精度と再現率の調和平均を取ったもので、この値が大きいほど、オブジェクトの識別が正確に行われていると評価されます。

MT, PT, ML (Mostly Tracked, Partly Tracked, Mostly Lost)

これらは追跡対象がどの程度追跡されていたかを評価する指標です。具体的には、MTは追跡対象が全フレームの80%以上で追跡されているか、PTは追跡対象が20%以上80%未満で追跡されているか、MLは追跡対象が20%未満でしか追跡されていないかを評価します。