本研究室では近年カメラモジュールの小型化の恩恵を受けているドローンやアクションカメラなどを活用し、機械学習や三次元点群処理を適用し、農業の見える化・情報抽出に取り組んでいます。経時圃場画像の変化と位置合わせを用いた大豆圃場における外来アサガオ認識と、果樹園のウメの木の三次元点群処理について概説します。
図1:大豆圃場の生育時期(左)と収穫時期(右)の空撮画像の違い
図2:提案手法を用いた訓練データセットで推定したアサガオ領域
農作物の栽培において雑草防除の有無は作物の収穫量に大きな影響を与えます。本研究では大豆圃場を対象としてセマンティックセグメンテーションを適用し、雑草であるアサガオを発見します。アサガオへの対策は生育時期早期に行うことで、大豆への影響を抑えることができます。しかし、生育時期(図1左)では大豆とアサガオがどちらも緑色であり色が似ており判別が難しいため、セマンティックセグメンテーションのために必要なアノテーション画像の作成が困難です。一方で、収穫時期(図1右)であれば大豆が枯れて茶色に変わるため、大豆とアサガオの判別が容易です。本研究ではアサガオ群落が生育時期と収穫時期で移動しないことを仮定し、大豆とアサガオの判別が容易な収穫時期画像でアサガオ群落を推定することで、この推定結果を生育時期画像のアノテーション画像として、生育時期画像における雑草検出器の教師画像に用いる。収穫時期アサガオ群落推定結果画像と生育時期画像を用い機械学習で判別モデルを訓練し、生育時期におけるアサガオ群落を推定しました(図2)[1]。
また、本研究室では三次元点群処理を用い、果樹園の見える化にも取り組んでいます。ウメの収量予測は農業従事者の経験に基づいて行われるため、収量予測の正確さにムラが生じ、常に適切な価格決定をすることが困難となります。本研究では、樹情報を基にしたウメ収量の予測について調査しました。樹情報の計測のための3D点群データはドローン空撮によるウメ樹の画像を使って作成しました。3D点群処理により、枝の断面に関する点群の取得および、枝の断面の楕円フィッティングを行い、枝周長、枝径を取得しました。ラプラシアンフィルタを用いた点群収縮を、構築したウメの木の三次元点群に適用することで、骨格や枝のグラフ構造を抽出することが可能となりました(動画1) [2]。今後は農業の収量との関係を深め、ウメ生育の新規参入に効果的な情報を抽出します。
[1] Y. Hirata, S. Tsuichihara, Y. Takahashi, and A. Mizuguchi, "Dataset Generation and Automation to Detect Colony of Morning Glory at Growing Season Using Alignment of Two Season’s Orthomosaic Images Taken by Drone," J. Robot. Mechatron., Vol.36 No.3, pp. 721-731, 2024.
[2] L. Meyer, A. Gilson, O. Scholz and M. Stamminger, "CherryPicker: Semantic Skeletonization and Topological Reconstruction of Cherry Trees," 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 6244-6253, 2023.
※画像については、[1]の論文に記載している内容で参考文献として本文に記載しています。
※このページに含まれる情報は、掲載時点のものになります。