日常で目にするダンスや音楽、あるいは何気ない仕草。これら言葉にできない「表現」を、コンピュータで扱える「データ」に変換できたら、どんな未来が待っているでしょうか？我々の研究室では、動きや感覚といった非言語情報をデータ化・処理することで、新たな表現やその魅力を引き出す支援手法の創出を目指しています。単なる技術の応用にとどまらず、「表現の本質とは何か？」という問いを工学的に検証していくプロセスを大切にしています。
動画1：多視点映像のストリートダンス動画データベース（AIST Dance DB）
動画2：深層学習（ディープフェイク）を用いた未来の自分が見えるダンス練習システム
動画3：一人でも集団パフォーマンスのシミュレーションができるシステム
動画4：光の錯視で転がっているように見える球体ロボット「Mimebots」
「工学」と聞くと、車や橋を作ったり、効率を高めたりする分野を思い浮かべるかもしれません。しかし、我々が対象とするのは、人間の動きや感覚といった非言語的な情報です。例えば、プロのダンサーがなぜあれほどカッコよく踊れるのか。そのコツをデータとして捉え、情報処理技術で解析することで、初心者の練習をサポートしたり、新しい表現を生み出したりすることを目指しています。
研究の一例として、1万本以上のストリートダンス動画を収集した世界最大級のデータベース「AIST Dance DB」を運用しています（動画1）。これは単なる動画集ではなく、音楽と動きがどのように連動しているのかを解析するための、表現工学の「基盤」となるものです。
みなさんは、自分のダンスを動画で撮って「なんか違うな…」とがっかりしたことはありませんか？我々の研究室では深層学習（ディープフェイク）を活用し、「もし自分がプロのようにお手本通りに踊れたら」という映像を生成するシステムを開発しました（動画2）。「ビデオセルフモデリング」と呼ばれる、理想的な自分の動きを見ることで行動改善を促す療法があります。この考え方を、複雑な動作の習得を必要とする学習へと応用しています。
1人のダンスだけでなく、集団でのフォーメーションや振り付けを支援する「DanceUnisoner」というシミュレーション・インタフェースも研究しています（動画3）。大勢のダンサーがどう動けば美しく見えるか、頭の中だけで想像するのは大変です。これをコンピュータ上で自由に試行錯誤できるようにすることで、クリエイターのインスピレーションを形にする手助けをしています。
表現工学の可能性はエンタテインメントにとどまりません。ダウン症の方々が楽しく運動機能を高められるインクルーシブなダンスゲームや、光の錯視によって転がっているように見える球体ロボット「Mimebots」（動画4）など、多様な人々やモノとのコミュニケーションを豊かにする研究にも取り組んでいます。
※このページに含まれる情報は、掲載時点のものになります。
