論文要約：SemARFlow: Injecting Semantics into Unsupervised Optical Flow Est

SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving

概要

領域分割推定と教師なしoptical flow推定を行う、SemARFlowを提案。SOTA。

書誌情報

2023/3/10
Shuai Yuan、他
デューク大学
https://arxiv.org/abs/2303.06209v2

背景

教師なしoptical flow推定は、occlusion、境界、テクスチャが少ない領域で難しい。
領域分割やドメインの知識が有用。

方法

自動運転向けに教師なしoptical flow、SemARFlowを提案。
領域分割マスクを推定、optical flow推定のencoderに入力。
領域分割augmentationモジュール　自己教師あり学習。領域（車、電柱、空）の境界の学習に役立つ。

Iは画像、Sは領域分割推定結果。

自己教師あり学習。
オブジェクトベースでagumentation画像を作成している。

結果

KITTI-2015でSOTA。境界で精度向上。ロバスト性向上。