資料メモ

• X. Gu, Z. Fan, S. Zhu, Z. Dai, F. Tan and P. Tan, "Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching," 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 2492-2501, doi: 10.1109/CVPR42600.2020.00257.

読んだ。

カスケードコストボリューム（多段的な？）を用いることでコストボリュームのサイズを削減する。
非deepなステレオマッチングに使用できないかと思ったけど、どうもdeep前提ぽい・・・

deepなステレオネットワークって、Plane Sweepしてるのかな？

• X. Mei, X. Sun, W. Dong, H. Wang and X. Zhang, "Segment-Tree Based Cost Aggregation for Stereo Matching," 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013, pp. 313-320, doi: 10.1109/CVPR.2013.47.

https://www.inf.ufrgs.br/~eslgastal/DomainTransform/

• 視覚の幾何学2

読んだ、エピポーラ幾何とステレオについて丁寧でわかりやすい

• 第4回 両眼立体視

読んだ、初期のステレオのアルゴリズムについて。ステレオ方程式の説明の図がわかりやすい。

• Q. Zhang, L. Xu and J. Jia, "100+ Times Faster Weighted Median Filter (WMF)," 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 2830-2837, doi: 10.1109/CVPR.2014.362.

重み付きメディアンフィルタについて

• C. Rhemann, A. Hosni, M. Bleyer, C. Rother and M. Gelautz, "Fast cost-volume filtering for visual correspondence and beyond," CVPR 2011, 2011, pp. 3017-3024, doi: 10.1109/CVPR.2011.5995372.

読んだ、画像間の対応を求めるタイプの問題について、一般的なコストボリュームフィルタリングの導入。ステレオマッチング、オプティカルフロー、などなど・・・

• Kuk-Jin Yoon and In So Kweon, "Adaptive support-weight approach for correspondence search," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 4, pp. 650-656, April 2006, doi: 10.1109/TPAMI.2006.70.

読んだ。

↑のコストボリュームフィルタリングの先駆け。ステレオマッチングのコスト集計時に、ジョイントバイラテラルフィルタによって重みをつけつつコスト集計する。

• Q. Chang and T. Maruyama, "Real-Time Stereo Vision System: A Multi-Block Matching on GPU," in IEEE Access, vol. 6, pp. 42030-42046, 2018, doi: 10.1109/ACCESS.2018.2859445.

読んだ。マルチブロックマッチングというコスト集計の方法をGPUで実装。コストボリュームのGPUメモリ上での取り扱いについて丁寧に書いてある。

• Yang, W., Chou, H., & Chung, P.C. (2021). Fast Stereo Matching with Recursive Refinement and Depth Upsizing for Estimation of High Resolution Depth. J. Inf. Sci. Eng., 37, 1379-1403.

https://www.sciencedirect.com/science/article/abs/pii/S138376212100254X

ただでは読めない

• 画像工学特論講義ノート:線形代数で 3 次元復元

多分読むべき

• J. Tardif, "Non-iterative approach for fast and accurate vanishing point detection," 2009 IEEE 12th International Conference on Computer Vision, 2009, pp. 1250-1257, doi: 10.1109/ICCV.2009.5459328.

読んだ。

画像中の直線の消失点を反復法（EMアルゴリズムとか）を用いず高速に求める。Non-iterativeとあるが反復法ではない程度の意味で、アルゴリズム中では1度だけ不定のループがある。

• X. Guo, Y. Li and H. Ling, "LIME: Low-Light Image Enhancement via Illumination Map Estimation," in IEEE Transactions on Image Processing, vol. 26, no. 2, pp. 982-993, Feb. 2017, doi: 10.1109/TIP.2016.2639450.

非deepな暗闇除去アルゴリズムらしい

https://qiita.com/fukushima1981/items/296e3a20aed78df00ff1

https://www.spiedigitallibrary.org/conference-proceedings-of-spie/12155/1215509/Disparity-refinement-based-on-feature-classification-and-local-propagation-for/10.1117/12.2626551.short

片側画像のみからデプスマップ 改善を行う。他の（2枚の画像を使う）方法と同等の結果とのこと。

ただでは読めない。

https://ieeexplore.ieee.org/abstract/document/9645667

superpixelから抽出した平面情報に基づいて視差推定を行うらしい

https://namonakihito.hatenablog.com/entry/2018/08/28/155306

• Chloe Legendre, Konstantinos Batsos and Philippos Mordohai. High-Resolution Stereo Matching based on Sampled Photoconsistency Computation. In T.K. Kim, S. Zafeiriou, G. Brostow and K. Mikolajczyk, editors, Proceedings of the British Machine Vision Conference (BMVC), pages 41.1-41.12. BMVA Press, September 2017.

superpixel分割->superpixel毎のplaneフィッティング->superpixel間のplane伝播

https://ieeexplore.ieee.org/document/9653804

EMDQ、特徴点マッチングの結果から誤対応を高速に取り除く。

https://github.com/haoyinzhou/EMDQ_C

https://link.springer.com/article/10.1134/S106422692112010X

アダマール変換を利用した局所特徴量によるステレオマッチング。単体でセンサス変換を上回り、センサスと組み合わせるとより良い結果を出せるらしい。

https://iago-suarez.com/ELSED

LSDより早いらしい線分検出

松尾 琢也, ジョイントフィルタによる高効率な奥行き推定に関する研究, 名古屋工業大学, 2016

https://nitech.repo.nii.ac.jp/?action=repository_uri&item_id=3218&file_id=13&file_no=2

読んだ、ジョイントバイラテルフィルタやその拡張であるジョイントトリラテラルなどによって視差画像の制度改善（主に後処理）を行う。理論と結果が詳しく記載されている。

• Q. Yang, "A non-local cost aggregation method for stereo matching," 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 1402-1409, doi: 10.1109/CVPR.2012.6247827.

非ローカルなコスト集約と非ローカルなDisparity refinemnetについて。最小全域木を利用してどーたらって書いてある気がする。

https://arxiv.org/abs/2201.11937

普通のステレオマッチングと特徴点マッチングの結果を統合するらしい

https://ietresearch.onlinelibrary.wiley.com/doi/full/10.1049/ipr2.12440

奥行きエッジを保存するために、画像をセルに分割してその領域で平面推定を行うなどなど・・・

ステレオマッチングにおけるGraph Cuts とBelief Propagationについて

• Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimization via graph cuts," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 11, pp. 1222-1239, Nov. 2001, doi: 10.1109/34.969114.

• Y. Boykov and V. Kolmogorov. An experimental compar- ison of min-cut/max-flow algorithms for energy minimiza- tion in computer vision. In Third International Workshop on Energy Minimization Methods in Computer Vision and Pattern Recognition, volume 2134 of Lecture Notes in Com- puter Science, pages 359–374. Springer, September 2001.

• Jian Sun, Nan-Ning Zheng and Heung-Yeung Shum, "Stereo matching using belief propagation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 7, pp. 787-800, July 2003, doi: 10.1109/TPAMI.2003.1206509.

• Tappen and Freeman, "Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters," Proceedings Ninth IEEE International Conference on Computer Vision, 2003, pp. 900-906 vol.2, doi: 10.1109/ICCV.2003.1238444.

https://docs.google.com/presentation/d/1nbyUBucCTFP2-sVLFeo2gP76L3EJTImMFXLmV7OifxI/

微分可能レンダリング周りのことについて、とてもわかりやすい

https://www.hindawi.com/journals/js/2022/7181445/

テクスチャのないところとかオクルージョンしてるところの視差改善処理について

https://www.mdpi.com/2218-6581/11/1/24

VSLAMのサーベイ論文

• Disparity estimation for the Stereo Matching problem with outdoor moving truckload images

料金所？を通過するトラックのステレオ画像を取得するための実装。
パイプラインに沿って説明が行われていてわかりやすい、CNNとBT (BirchField Tomasi)のコスト計算の比較がメイン。
ソーベルフィルタ（X方向）で入力画像をフィルタすると精度が上がるのが驚きだった。

• Hui Wei, Lingjiang Meng, An accurate stereo matching method based on color segments and edges, Pattern Recognition, 2022

ピクセルマッチングをピクセルセグメントマッチングとエッジマッチングに変換して計算量を削減するとか

エッジマッチングにDTWという時系列データの類似度算出アルゴリズムを使用している

• DTW(Dynamic Time Warping)動的時間伸縮法 - S-Analysis
• DTW (動的時間伸縮法)の実装 - やったことの説明