🕌

【読書メモ】自動車の画像認識技術-車載カメラからパターン認識まで

2022/10/24に公開

本書は車載カメラに実装されている（されてきた）画像処理手法について解説しており、大きく以下の構成になっている。

はじめに

これまでの車載カメラ（センサー）の歴史、課題などが述べられている。

よくある車載カメラのスペックが説明されている。コストの強い制約を受けている。

走路認識の処理フロー

レーン認識
画像取り込み
（歪み補正・路面投影）
- リア、サイドの場合は視野角が広角で画像が歪むため、処理が必要。
処理領域設定
- 遠方は分解能が低くなるため、近傍領域だけを使うことが多い。
エッジ（点群）抽出
- 屋外環境では照明の変動が大きいため、輝度の変動に頑健な微分フィルタを使用することが多い（市販車にはソーベルフィルタ、研究開発ではCannyエッジ検出器が使われる）。
直線・曲線抽出
- 直線はエッジ点群にハフ変換やRANSACを利用して直線抽出する。さらに精度が必要な場合は抽出した直線候補に最小二乗法を適用する。
- 曲線は計算量を削減するために曲線を複数の直線の組み合わせとして捉える、車両のヨーレイト、車速、ステアリング角を用いた車両軌跡を使用して道路曲率を計算するなどする。
- これらの前提として道路の法規制知識を使う（レーンマーク幅、道路幅、道路の曲率）。
レーン判別
位置算出

ディープラーニングでのセマンティックセグメンテーションアプローチにも触れられているが、ここでは研究段階という位置づけ。

移動物体認識の処理フロー、入力は動画。

画像取り込み
（画像の正規化）
- 広角、魚眼レンズの場合は歪みをとるため、正規化を行う。
特徴点演算
特徴点周りテンプレート追跡
オプティカルフローグループ化
- 3-5はオプティカルフローで特徴点（主に物体のコーナー）を抽出して、特徴点を輝度パターン（短時間フレーム間のため、特徴量ではなく輝度で十分）で追跡する（計算コスト削減のため、探索範囲はある加速度内に制限される）ことで、移動物体の認識を行う。
- 検出した物体の画像前後間の移動の長さと消失点との長さがある一定に収まっていれば同一とみなす。実画像では誤差があるため、RANSACで誤差を小さくする。
衝突予測時間推定
（衝突可能性推定）
（対象物位置推定）
警報判定
- 6-9はオプティカルフローの計算結果から直接計算する。
- 誤検出があるため、信頼度の推定も必要。
- 到達予測時間を推定してドライバーへ警報を行う。警報のタイミンングはドライバーの反応時間を考慮して2-3秒となる（機能にもよるが1-5秒で推定できれば良い）。

2台のカメラの視差を利用して、環境の3次元情報を取得する。

画像取り込み
（画像の正規化）
片方の画像から小領域選択
エピボーラ線計算
対応領域探索
- 対応点の探索範囲が広いと誤りや謝りや計算量が増すため、エピボーラ線上の対応点のみを探索する（エピボーラ拘束）。
- 対応点候補に対して類似度を計算する。古典手法に加え、ディープラーニングがが使われることもある。
3次元座標計算
物体認識
- 人の知識 or 機械学習を利用して物体の認識が行われる。

これまで取り扱ったトピックに対して、機械学習が活用される処理とよくある手法が解説されている。

自動車ですでに活用されている画像処理が幅広く解説されていて参考になりました。車載カメラと計算機にはコスト制約があるため、計算量が少なく済むアプローチは知っておいて損はないと思いました。