論文要約：YOIO: You Only Iterate Once by mining and fusing multiple necessa

YOIO: You Only Iterate Once by mining and fusing multiple necessary global information in the optical flow estimation

概要

1回のiterationで、グローバル情報をマイニング・融合する、You Only Iterate Once(YOIO)を提案。SOTA。リアルタイムで動作可。

書誌情報

2024/1/11
Yu Jing、他
重慶大学
https://arxiv.org/abs/2401.05879

背景・目的

occlusion領域は精度が低い。

GMFlow

方法

1回のiterationで、グローバル情報をマイニング・融合する、You Only Iterate Once(YOIO)を提案。

3つのコンポーネントで構成。
初期フロー推定器
正しいグローバル情報を得るループバック判定アルゴを含む、グローバル情報抽出モジュール
グローバルな情報を融合する、統合refinementモジュール。

ループバック判定アルゴ

結果・考察

GMAと比較して、occlusion領域で10％以上、フレーム外occlusion領域で15％以上、精度改善。計算時間、27％短縮。

SOTA。リアルタイムで動作可（18.9fps）。

3段目は誤差マップ
左からGMFlow、YOIO。

Occ-on　フレーム内occlusion
Occ-out　フレーム外occlusion

iteration回数と誤差