植物の自動観察を実現する追跡システムの開発 - グラフニューラルネットワークを用いたアプローチ

はじめに

私たちがカメラで録画した映像を見るとき、画面の中の物体の動きを自然に理解することができます。例えば、ある花を追跡する場合、その花が葉に一時的に隠れても、再び見えたときに同じ花だと認識できます。しかし、コンピュータにとってこの「当たり前」が大きな課題となっています。

特に農業分野では、花や実などの植物器官を正確に追跡し数えることが、育種や収量予測において重要です。このような計測は従来、非常に労力のかかる手作業で行われてきました。

図1: 開発したMARS-Xロボットプラットフォーム。上部と両サイドに設置されたカメラと、安定した照明を確保するキャノピーにより、高品質なデータ収集を実現 (From [Petti et al., 2024])

研究アプローチ

本研究では、人工知能による物体追跡の新しいアプローチとして、グラフニューラルネットワーク（GNN）を活用したシステム「GCNNMatch++」を開発しました。このシステムは、検出と追跡を一つの処理として統合することで、より効率的な追跡を実現しています。

図2: GCNNMatch++のシステム全体像。検出と追跡の統合により、効率的な処理を実現。YOLOv8による特徴抽出をシステム全体で共有することで、軽量な実装を達成 (From [Petti et al., 2024])

システムの中核となるのが、CensNetと呼ばれる新しいタイプのニューラルネットワークです。従来のグラフニューラルネットワークが物体（ノード）の特徴のみを扱っていたのに対し、CensNetは物体間の関係性（エッジ）の特徴も統合的に処理することができます。

図3: 従来のGCN（左）とCensNetの処理（右）の違い。CensNetはノードとエッジの特徴を包括的に処理することで、より豊かな表現を可能に (From [Petti et al., 2024])

主要な発見と成果

開発したシステムの性能評価では、追跡の正確性を示すHOTA（Higher-Order Tracking Accuracy）で46.30、物体の同一性維持の精度を示すIDF1スコアで64.37という高い性能を達成しました。特に、葉による遮蔽が頻繁に発生する実際の圃場環境においても安定した追跡が可能であることを確認しました。

図4: 花のカウント精度の評価。実測値と予測値の間にR² = 0.774の強い相関が確認され、実用的な精度を達成 (From [Petti et al., 2024])

さらに、システムの処理速度はCPU環境で44ミリ秒/フレームを実現し、実用的な速度での動作が可能であることを示しました。

応用と今後の展望

開発したシステムを用いることで、圃場全体の開花パターンを時系列で追跡することが可能となりました。これにより、品種による開花時期の違いや、個体ごとの生育特性を定量的に評価できるようになります。

図5: 4週間にわたる開花パターンの変化。色の濃さは花の数を表し、品種による開花特性の違いを定量的に把握可能 (From [Petti et al., 2024])

今後の展開として、複数のカメラからの情報を統合することで、より正確な追跡を実現することが期待されます。また、他の作物への応用や、より複雑な環境下での性能向上も重要な課題となります。

まとめ

本研究は、最新のコンピュータビジョン技術を農業分野に応用し、実用的な性能を持つ植物器官追跡システムの開発に成功しました。特に、高い追跡精度と処理速度の両立を実現した点で、実際の育種現場での活用が期待されます。

[論文情報]

• タイトル: Graph Neural Networks for lightweight plant organ tracking
• 著者: Daniel Petti, Ronghang Zhu, Sheng Li, Changying Li
• 掲載: Computers and Electronics in Agriculture, 2024
• DOI: https://doi.org/10.1016/j.compag.2024.109294