論文要約：MemFlow: Optical Flow Estimation and Prediction with Memory

MemFlow: Optical Flow Estimation and Prediction with Memory

概要

メモリを用いてoptical flow、MemFlowを提案。メモリ読み出し・更新モジュールにより、過去の動きを効果的に集約。解像度を適応的に再スケーリング。VideoFlow以上。コード公開。

誤差、推論時間、モデルサイズ

書誌情報

2024/4/7
Qiaole Dong、他
復旦大学（中国）
https://arxiv.org/abs/2404.04808
https://dqiaole.github.io/MemFlow/

背景

optical flowは、従来、2フレーム入力手法であったが、最近、長距離情報を学習するために、複数フレーム入力手法も出てきている。
2フレーム入力は時間的関係を学習するのに限界。
複数フレーム入力は計算負荷が大きく、リアルタイム処理に不向き。

方法

メモリを用いたoptical flow、MemFlowを提案。メモリ読み出し・更新モジュールにより、過去の動きを効果的に集約。解像度を適応的に再スケーリング。将来予測に拡張。

構成

結果

Sintel、KITTI-15データセットで、ロバスト性において、VideoFlow以上。小サイズ、高速。1080p SpringでSOTA。コード公開。

比較

画像

誤差、実行時間、モデルサイズ

誤差、反復回数