トップページ > なんでも探検隊 > 距離画像カメラとその応用

なんでも探検隊

 

距離画像カメラとその応用

 
2013年8月1日
筑波技術大学 産業技術学部
産業情報学科

筑波技術大学は聴覚障害者と視覚障害者のみを受け入れる我が国で唯一の高等教育機関として創られた国立大学です。産業技術学部は聴覚障害をもつ学生が存分に勉学できる環境を整えており、先生が学生と手話などで直接コミュニケーションを図りながら教育しています。産業情報学科では聴覚障害者を支援する技術に関する研究にも取り組んでいます。今回の「なんでも探検隊」では距離画像を撮影できるカメラを活用して、聴覚障害者のコミュニケーションを支援する研究について紹介します。

距離画像を用いた指文字の認識

スマートフォンやカーナビゲーションシステムなどの音声で操作することができる機器が増えてきています。しかし、聴覚障害者の多くは明瞭に声を出すことができないので、音声で操作する機器を利用することができません。そこで、聴覚障害者が普段のコミュニケーションで使っている指文字で機器の操作ができないか、指文字をコンピュータに認識させる方法について研究を行なっています。日本の指文字は図1のように仮名に対応した指の形があり、手や指の動きをともなうものもあります。これらの指文字をカメラで撮影した映像を画像処理して認識させる方法が考えられますが、背景や照明などの環境の影響を強く受けるため精度を高めるのが困難でした。近年、赤外線の飛行時間を利用して対象までの距離を計測できる特殊なカメラが開発され、図2のような各画素に距離値が格納された距離画像を撮影できるようになりました。距離画像の距離が近い画素を参照することで、画像中の手の部分のみを容易に抽出でき、照明の強さの影響もほとんど受けません。距離画像を用いることによってロバストで精度の高い指文字認識を実現し、機器への実装を目指して研究開発を進めています。

図1 日本の指文字の例
図1 日本の指文字の例

図2 距離画像と手の抽出例(カメラに近い距離値の小さい画素ほど明るい色で表現)
図2 距離画像と手の抽出例(カメラに近い距離値の小さい画素ほど明るい色で表現)

距離画像モーションキャプチャを用いた匿名手話映像表現

音声や映像によるチャット、配信などのオンラインコミュニケーションでは、匿名性を高めるためにボイスチェンジャーやアバターを活用することができます。しかし、手話は手や指、腕の動作だけでなく、眉や口、あご引きなどの顔の部位の動きも有用な文法要素なので、単にそれらをアバターで隠すような方法ではコミュニケーションができなくなります。そこで、距離画像カメラとカラーカメラから人物の動きの計測(モーションキャプチャ)が可能なシステム(図3参照、Kinect for Windows)を使って、CGモデルをリアルタイムに動かして匿名性の高い手話コミュニケーションを実現するための研究を行なっています。指先や顔の部位などの細かな動きをリアルタイムに計測するのは困難なので、図4のように手や顔の部位の実写映像を抽出してCGモデルに対応させる方法も検討しながら、匿名性とコミュニケーションしやすさを両立させた手話映像表現について研究開発を行なっています。

図3 距離画像+カラー画像による人物認識とモーションキャプチャ(Kinect for Windows)
図3 距離画像+カラー画像による
人物認識とモーションキャプチャ
(Kinect for Windows)

図4 CGモデルと実写を対応させた手話映像表現(手、目、口、および眉を実写映像から抽出しCGモデルに合わせて変形&補正して合成した例)
図4 CGモデルと実写を対応させた手話映像表現
(手、目、口、および眉を実写映像から抽出し
CGモデルに合わせて変形&補正して合成した例)

※このページに含まれる情報は、掲載時点のものになります。

関連記事

2014-08-05

生レポート!卒業生の声

もの作りが好きな皆さんへ

和歌山大学システム工学部

2014-02-25

おもしろ科学実験室(工学のふしぎな世界)

レンズカメラを作ろう

山口大学工学部

2010-12-09

生レポート!大学教授の声

高校生時代の自分からみた工学

福島大学共生システム理工学類

2011-11-16

生レポート!現役学生の声

失敗と挑戦の日々

九州工業大学工学部

2014-08-19

輝く工学女子!(Tech ☆ Style)

【vol.13】遊んでます。まじめにね?

秋田大学理工学部

2012-09-26

生レポート!現役学生の声

大学生活の学び

弘前大学理工学部

筑波技術大学
産業技術学部

  • 産業情報学科 情報科学専攻
  • 産業情報学科 システム工学専攻
  • 総合デザイン学科

学校記事一覧

なんでも探検隊
バックナンバー

このサイトは、国立大学55工学系学部長会議が運営しています。
(>>会員用ページ)
私たちが考える未来/地球を救う科学技術の定義 現在、環境問題や枯渇資源問題など、さまざまな問題に直面しています。
これまでもわたしたちの生活を身近に支えてきた”工学” が、これから直面する問題を解決するために重要な役割を担っていると考えます。