人間の視覚特性は、自然シーンにおける広いダイナミックレンジの輝度を捉えることができ、例えば暗い室内から明るい屋外を見た時に屋内屋外どちらの情報も認識できる。一方、カメラでは、人間の見た目に近い自然な画像の取得が難しい。近年普及している高性能カメラではそれが容易になりつつあるが、一般的なイメージセンサでは、先に述べたような明暗差の非常に大きいシーンにおいて、画像の一部に黒潰れや白飛びが生じ不自然な画像を生成する場合がある。なぜこのような現象が生じるのだろうか?
※ここでのダイナミックレンジとは、最も明るい部分と最も暗い部分の明暗の比のことである。
図2-1 多重露光画像
図2-2 高ダイナミックレンジ画像(多重露光画像を統合)
図3-1 (a)従来技術
図3-2 (b)提案技術
一般的なカメラに搭載されているイメージセンサには光を電気信号に変換する素子が敷き詰められており、これによりシーンの光情報をデジタルデータとして保存することができる。通常カラー画像はR(赤)、G(緑)、B(青)三色の光情報をもち、それぞれ0から255までの256階調の整数値を画素値としてもつ。ここで、暗い領域では全ての成分において画素値が0に近い値をとり、一方で明るい領域では画素値が255に近い値をとる。しかしながら素子で保存できる輝度のダイナミックレンジは、自然シーンの広いダイナミックレンジよりもしばしば狭いため、人間が知覚可能なシーンにもかかわらず画素値0のみをもつ領域や画素値1のみをもつ領域が存在する画像が生成される(図1)。これらの現象はそれぞれ黒潰れ、白飛びと呼ばれている。
この画素飽和の問題を解決しシーンの輝度情報を忠実に再現する方法として高ダイナミックレンジ(HDR)画像生成技術が挙げられる。 HDR画像とは、自然シーンの広いダイナミックレンジの情報を保存することができる画像形式であり、車載カメラや監視カメラ、医用画像など様々な分野で利用されている。一般に、HDR画像はシャッタ速度を変え撮影した多重露光画像と呼ばれる画像群を統合することにより生成する(図2)。ここで、従来技術では黒潰れと白飛び画素を統合から除外するように画像を統合する。
暗い室内や夜間などの撮影では、手ぶれによるボケを回避するために高感度撮影が必須となる。しかしながら高感度撮影ではイメージセンサで生じるノイズを強調してしまうため、生成された画像にはザラザラとしたノイズが生じ著しく画質が劣化する。そこで我々はノイズにより劣化した多重露光画像から鮮明なHDR画像を生成する新たな画像統合技術を開発した。提案技術では、黒潰れや白飛び画素を除外するだけでなくノイズを軽減する最適な画素統合比率を算出するため、ダイナミックレンジ拡張に加え画質の改善を同時に実現することがきる(図3)。
※このページに含まれる情報は、掲載時点のものになります。