Action Segmentationの評価指標

概要

Action Segmentationの評価指標についての記事が無いようなので調べたことを書きます．

Action Segmentationとは

何かしら複数の人間のactionを含む動画を与えたときに，フレームレベルでactionラベルを当てるというタスクです．

評価指標

よく使われる2種類の指標を紹介します．

1. Frame-Based Measures

一番良く用いられる方法．
Frame-wise accuracy(Acc) または **Mean over Frames(MoF)**と呼ばれる．

$$Acc = \frac{\text{correct frames}}{\text{all frames}}$$

この評価指標の問題点は2つ．

• 動画内で長い時間専有しているactionクラスの影響が大きくなる．
  • よって，同じMoFでも，モデルの質が大きく違う可能性がある．
• Over Segmentationへのペナルティがない
  • こちらは次に紹介するSegment-Based Measuresで評価できる．

2. Segment-Based Measures

ここではF1-scoreを紹介します．
$\tau / 100$のような閾値に基づいてIoUを求める．（IoUに関しては他の記事を参照）
$\tau$はだいたい$\{10,20,50\}$である．
予測された各segmentは，GTに関するスコアが閾値を超えた場合にTrue Positiveとして考えられる．
GTの一つのaction segmentの中に，複数のsegmentを予測した場合（すなわちover segmentationしたとき）は，一つだけがTrue Positiveと考えられて，その他はFalse Positiveとなる．
その上で，precision（適合率）とrecall（再現率）の調和をとったF1スコアは以下のように計算される．

$$\mathrm{F1} = 2\frac{\mathrm{precision}*\mathrm{recall}}{\mathrm{precision}+\mathrm{recall}}$$

参考文献

https://arxiv.org/pdf/2210.10352.pdf
https://buildersbox.corp-sansan.com/entry/2019/10/17/110000