手描きスケッチで3次元の形を検索！

なんでも探検隊

手描きスケッチで3次元の形を検索！

2015年9月7日
山梨大学工学部コンピュータ理工学科
大渕竜太郎

膨大な数の3次元形状を効率良く管理したい！

図1.3D形状モデルの例

3次元(3D)モデルは、医療、工業、テレビゲームや映画など、幅広い分野で利用されています。最近では、安価な3Dプリンタや深さセンサの普及により、私達が3Dモデルを扱う機会が増えてきました。これら非常に多くの3Dモデルは、それらの再利用や流通のために、企業やインターネット上のデータベースに蓄積されています。

形の類似性に基づく3Dモデルの比較や検索は、上記のようなデータベースを効率的に管理するための必須技術の1つです。この技術は様々な場面で役立ちます。例えば、工業製品の開発において、形が類似した機械部品の3Dモデルを検索し、それを再利用することで製品開発を効率化できそうです。また、医療診断では、ある患者の臓器や血管の3D形状を、データベース中の多くの3D形状と比較することで、異常の有無の判定や、異常のある部位の特定ができるかもしれません。

手描きスケッチによる3次元形状の検索

コンピュータ理工学科・大渕研究室では、誰にとっても使いやすい3Dモデル検索の実現を目指して、手描きスケッチによる3Dモデル検索について研究しています。ウェブの検索エンジンのようにキーワード（単語群）で3Dモデルを検索できれば便利ですが、3Dモデルはキーワードタグを持たないことが多いため、そのままではキーワードによる検索はできません。かと言って、膨大な数の3Dモデルの各々に手作業で、しかも多言語のキーワードタグを付与するのは非現実的です。一方で、手描きスケッチは、言語に依存せず、欲しい形を直感的に指定できる利点があります。しかし、スケッチと3Dモデルはデータの種類が異なるため、比較がとても困難です。スケッチを描く人によっては、形を抽象化したり(例えば図2のように、ヒトが「棒人間」として描かれたり)、スケッチが下手だったり、あるいはスケッチの線が途切れたり揺らいでしまうことがあります。

図2.ヒトのスケッチと、それにより検索された3Dモデル群

この結果、スケッチと3Dモデルの比較に失敗し、検索の精度が低下してしまいます。この問題に対して私達は、機械学習を利用して、多数のスケッチと3Dモデルから、これらデータ間の比較に最適な尺度を獲得することを試みています。図2と図3は、私達の手法を用いて検索した結果の例です。ヒトとワイングラスのスケッチから、3Dモデルを正しく検索できたことが見て取れます。