左は水面を撮影した写真、右は17世紀の画家Jacob van Ruisdaelが川を描いた油絵である。それぞれのアニメーションは、これらの写真や絵画にビデオを合成して作られたものである。画像検索技術を用いて適切なビデオを見つけたあと、ビデオから水の動きを抽出し、写真や絵画と合成することで、アニメーションを実現する。これは、写真や絵画の低周波成分にビデオの高周波成分を加算するという、非常に簡単な計算で実現可能である。1枚の画像からアニメーションが生成でき、映像製作を簡単化できる技術である。
図(a)～図(c)
図(d)～図(f)
水面、滝、河川など、流れ続ける水のシーンを観察すると、大局的には（言い換えれば、遠くから見ると）形や色などの見た目は大きく変化しないが、局所的には（言い換えれば、近くに寄って見ると）波の揺れ、泡の流れ、水飛沫の動きなどが見られ、水の動きが感じられる。
そこで、大局的な見た目を写真や絵画から抽出し、一方、局所的な動きをビデオから抽出して両者を合成することで、写真や絵画の見た目を保ちつつ、ビデオのような動きをするアニメーションを作ることができる。画像処理において、大局的な見た目のことを低周波成分と呼ぶ。
これは、図(a)の絵画にぼかしフィルタを掛けて得られる、図(b)のような、ぼやけた画像のことである。一方、局所的な見た目のことを高周波成分と呼ぶ。図(d)はビデオの一コマ目の画像であるが、これにぼかしフィルタを掛けて図(e)を作り、図(d)と図(e)の対応する画素（ピクセル）の間で値の引き算を行うことで、図(f)のような高周波成分の画像が得られる。図(f)を見ると、図(d)で見えていた色や物の形などが失われ、泡や水飛沫などの細かい情報のみが残されている。
最後に、低周波成分（図(b)）と高周波成分（図(f)）の対応する画素の間で値の足し算を行い、合成結果である図(c)が得られる。以上をビデオの全てのコマで行い、結果のアニメーションを得る。
水面のアニメーションは1つのビデオを合成して作られているが、絵画のアニメーションは複数のビデオが合成されている。画像検索技術を用いて絵画の中の４つの領域に対し適切なビデオを見つけたあと、それぞれの領域に対して上述の合成処理を行っている。
※このページに含まれる情報は、掲載時点のものになります。
