FEAR: Fast, Efficient, Accurate and Robust Visual Tracker

概要

モバイル環境でもリアルタイムに推論可能な軽量物体トラッカーFEARを提案。動的に更新されるDual Templateと、効率的な特徴量融合による高速なトラッキングを可能にしている。

書誌情報

• Borsuk, Vasyl, et al. "FEAR: Fast, Efficient, Accurate and Robust Visual Tracker." European Conference on Computer Vision. Springer, Cham, 2022.
• https://arxiv.org/abs/2112.07957
• 公式実装

ポイント

モデルは以下の5つのモジュールから構成される。

• Feature Extraction Network
• Dual Template Representations
• Pixel-wise Fusion Block
• Bounding Box Regression Head
• Bounding Box Classification Head

Feature Extraction Network

ImageNetで学習済みのバックボーンを使用する。チャンネル数を調整するためのAdjustLayer（Conv層+BN）が続く。モデルのサイズごとに以下のようなバックボーンを使用する。
FBNet^[1]は、NASによってモバイル向けに最適化されたアーキテクチャを採用している。

• FEAR-M: ResNet-50
• FEAR-L: RegNet
• FEAR-XS: FBNet

Dual Template Representations

FEARでは、StaticとDynamicの2種類のテンプレートを使用する。Dynamicは追跡対象の時間的な見えの変化に追従するためのテンプレートで、推論時には定期的に更新される。

以下は、記号の整理である。

• Staticテンプレート画像$I_T$。ここから得られる特徴マップを$F_T$とする。
• Dynamicテンプレート画像$I_d$。ここから得られる特徴マップを$F_d$とする
• $F_T, F_d$の重みつき和$F_T^{\prime}=(1-w) F_T+w F_d$が、テンプレートの最終的な特徴マップとして使用される。$w$は学習対象のパラメーターである。これをAvgPoolしたものをDual-Template embedding$e_T$という。
• 検索画像$I_S$。Nフレームあり、そこから特徴マップ$F_S$が得られる。分類スコアによって重みづけしてPoolingしたものを$e_S$と呼ぶ。
• ネガティブ画像$I_N$。追跡対象が写っていない画像からサンプルする。こちらも同様に分類スコアによって重みづけしてPoolingしたものを$e_N$とする。

Dynamicテンプレートに使用する$I_d$の作り方が訓練時と推論時で異なる。

• 訓練時：検索画像$I_S$から1枚サンプルして正解領域をクロップしたものを$I_d$とし、そこから$F_d$を算出、以降は$F_T$と組み合わせて順次$F_T^{\prime}, e_T$を得る。$e_T, e_S$の距離が近く、$e_T, e_N$の距離が遠くなるようにTriplet Lossを損失に加える。
• 推論時：$e_S$を各フレームについて算出する。前回の推論で得られた$I_d$を使って、固定の$I_T$と組み合わせて$e_T$まで計算しておく。$e_T$ともっともコサイン類似度が高くなる$e_S$に対応するフレームについて、FEARの後続処理を適用してトラック対象の領域を検出してクロップし、次の$I_d$とする。

Pixel-wise Fusion Block

テンプレート画像の特徴マップ$F'_T$が検索画像特徴マップ$F_S$のどこに対応しているかを知るために、多くの既存手法では相互相関（cross-correlation）が使用される。これは、$F'_T$そのものをカーネルとして$F_S$に対して畳み込みを行う2dConv層として実装されることが多いが、軽量化のための工夫としてより簡易な方法がいままでも提案されてきている。
FEARでは、検索画像の特徴マップ$F_S$を3x3 Conv-BN-ReLUブロックに通して新たに得られた特徴マップに対して、テンプレート特徴マップ$F'_T$とのpixel-wiseなcross-correlationを計算する。公式実装を確認すると、pixel-wise cross-correlationは、以下のような行列の掛け算として実装できる。

# z: (b, c=256, hw=64)
# x: (b, c, H=16, W=16)
s = torch.matmul(z.permute(0, 2, 1), x.view(b, c, -1)).view(b, -1, w, h)

これをもとの特徴マップと結合して3x3 Conv-BN-ReLUブロックに通して得られる特徴マップを出力とする。

3x3 Conv-BN-ReLUブロックのConvは、公式実装では3x3のdepth-wise Convと1x1のpoint-wise Convを連続して適用する操作であるSepConvが使用されています。
また、論文中ではconcat後のConv2dはカーネルサイズ1だと記述されていますが、実装では3x3のdepth-wise Convと1x2のpoint-wise Convを連続して適用する操作であるSepConvが使用されているようです。

Classification and Bounding Box Regression Heads

一般的な物体検出と同様の、BoundingBoxの分類と回帰を担当するヘッド。
これにより、最終的なトラッキング対象の位置が特定される。3x3 Conv-BN-ReLUブロック数層重ねて最終的な分類と矩形回帰ヘッドとしている。

損失関数

損失は、embedding$e_T, e_S, e_N$に関するTriplet Loss$L_t$と、BoundingBox回帰損失$L_{\text{reg}}$と分類の損失$L_{c}$が使用される。

$$L=\lambda_1 * L_t+\lambda_2 * L_{\text{reg}}+\lambda_3 * L_c$$

ここで、$L_t$はembeddingに関するTriplet Lossであり、下式で表される。これにより、$e_T$が$e_S$と近く、$e_N$と遠くなるようにする。

$$\left.\left.L_t=\max \left\{d\left(e_T, e_S\right)-d\left(e_T, e_N\right)+\operatorname{margin}, 0\right)\right)\right\}$$

$d$はembedding間の$\ell_2$距離を表す。

$$d\left(x_i, y_i\right)=\left\|x_i-y_i\right\|_2$$

回帰損失$L_{\text{reg}}$は、下式のようなIoU損失が使用される。

$$L_{\text{reg}}=1-\sum_i \text{IoU} \left(t_{\text{reg}}, p_{\text{reg}}\right)$$

分類ヘッドの出力に関してはFocalLossを適用している。

$$L_c=-\left(1-p_t\right)^\gamma \log \left(p_t\right), \quad p_t= \begin{cases}p & \text { if } \mathrm{y}=1 \\ 1-p & \text { otherwise }\end{cases}$$

実験

省略

脚注

1. Borsuk, Vasyl, et al. "FEAR: Fast, Efficient, Accurate and Robust Visual Tracker." European Conference on Computer Vision. Springer, Cham, 2022.