近年、入力映像の種類・種類は多様化しています。地デジであればHD、DVDであればSDなど入力信号が異なり、その解像度や入力フレームレートもさまざまです。一方で出力デバイスの表示性能は大きく向上しています。4Kテレビの普及が進み、8Kや高輝度、広色域の映像フォーマットには、コンテンツから伝送、表示までの規格化が進められており、高画質化技術には、入力と出力の画質のギャップを補い、新しい映像フォーマットに対応していくためのさらなる技術的な進化が求められています。
また、プロジェクションタイプの表示装置や、VR/ARのヘッドマウント型ディスプレイなど、さまざまな形態の表示装置の開発も進んでいます。こうした表示デバイスは、フラットパネル型の表示装置と比較して輝度の不足や色階調の劣化など多くの課題を抱えており、それぞれの特性を踏まえて、本来の映像を忠実に表現するための新たなアプローチの信号処理が求められています。
ソニーは、トリニトロンテレビやハンディカムの時代から高画質化技術の領域において、世界に先駆けた挑戦を続けてきました。4K/8K時代においても、画質の基本である高精細、ハイダイナミックレンジ（HDR）、広色域（WCG）の３軸を徹底的に追求し、映像信号のフローをトータルで最適化することで、見る人に世界No.1の感動画質を提供していきたいと考えています。
私たちは、さまざまな種類、品質の映像に対して、データ圧縮などで失われた時空間解像度、階調・コントラスト、色に関する画質要素を復元し、4K/8K画質に変換する信号処理技術を開発しています。根幹となるのは、画像解析、ノイズ低減処理、そして学習型超解像処理の技術です。
高画質化の画像処理を行う際には、被写体が何であるかを認識することが重要です。例えば、雲であれば雲らしい画像表現を実現する、そのためには雲を雲と判断する画像解析がまず必要です。オブジェクト単位で画像を捉え直すセグメンテーション技術などを活用して、画像解析の向上に努めています。
次に、ノイズ低減処理技術です。送信時のデータ圧縮によって生じるブロックノイズ、モスキートノイズなどを除去するための技術です。そして、学習型超解像技術は、圧縮などによって失われた情報を機械学習の手法によって補完し、画像を鮮鋭化したりディテールを復元したりする高画質化技術です。
本記事では、学習型超解像技術、および質感リアリティ再現や3Dレンダリングへの応用について紹介していきます。
ソニーは1990年代から機械学習ベースの映像技術を開発しています。2000年代には、プロジェクタやBRAVIAを対象として、4K出力に対応したソニーオリジナルの学習型超解像技術を新規開発しました。コア技術、関連技術の特許を数多く保有しているほか、学習データの設定・準備や画質調整用の機構、画像解析技術などの要素技術の継続的な進化によって、今も業界をリードする高画質化技術を有しています。
入力された2Kの低品位画像を機械学習によりあらかじめ作成された変換データベースを参照しながら、リアルタイムで4Kの高品位画像に置き換えて出力します。
現在では、ディープラーニングといった先端の機械学習を取り入れ、復元性能の向上を図っています。
学習型超解像技術のように解像度や画素数を補って2Kから4Kに増やす技術を、それ以外のコントラスト、明るさ、色など他の画質要素の復元に応用できないか？その発想から生まれたのが、質感リアリティ再現技術です。
実際の世界には太陽があり、その光が物体に反射して人の目に入ります。明るさひとつとってもレンジが広く、いくら性能が向上したとはいえ、1台のカメラでそれを捉え切ることは容易ではありません。そこで、映像から被写体の形状や反射特性、光源などの物理特性を解析することで、実世界の質感やリアリティ表現を再構成しています。
例えば、HDRの強みは撮像、表示で異なるダイナミックレンジを視覚的に最適に表現する技術です。撮像デバイスの進化と伝送方式の標準化進展により、暗い領域から明るい領域までの階調をしっかりと記録することができます。一方で、ディスプレイ側で表現可能なダイナミックレンジは様々で、必ずしも、記録された階調を表現しきれません。そこで、映像コンテンツの特性を解析し、ディスプレイの階調表示性能を最大限に活かす表示制御を行うことで、例えば、夕焼けのシーンで夕日に浮かぶ空のまぶしさや雲のディテールを残しながら逆光で暗くなった被写体も鮮明に表現することができます。ソニーでは、従来の映像信号から HDR 相当の信号を復元する階調・色復元技術の開発を行っています。
超解像技術のように、機械学習を用いた映像技術は、テレビやカメラなどエレクトロニクス製品に活用されていますが、ソニーでは超解像技術の可能性をさらに広げるべく、エンタテインメントのコンテンツ制作へと技術展開を進めています。その一つが３Dレンダリング（3DCGによる映像制作）への応用です。
エンタテインメント領域においては、３DCGによるコンテンツへのニーズが高まっており、映像制作効率の向上が求められています。クリエイターがよりクリエイティブな作業へ集中できる環境を提供するため、コンテンツ制作支援への映像技術の応用を進めています。R&D部門としてどのような技術貢献ができるか、中長期的な視点から検討を重ねた結果、3年前にグループ会社であるソニー・ピクチャーズ エンタテインメント（SPE）に技術提案を行い、実用化に向けたチャレンジが始まりました。
この図の縦軸は品質を、横軸はレンダリングにかかる時間を表しています。水色で示された映像制作分野では、1フレームの画像を作るために、最大で1,000時間を超える膨大な時間をかける必要があり、このレンダリング時間をいかに短縮するかが課題となっています。一方、黄色で示されたゲーム分野では、リアルタイム処理のため、レンダリング時間をキープしたまま、映像品質を向上させていくことが期待されています。レンダリングの時間短縮と画質向上、２つの分野のそれぞれのギャップを解決し、エンタテインメントの制作現場に貢献する、それがこの技術の提供価値と言えます。
なぜ、レンダリングの処理には時間がかかるのでしょうか。それは、仮想空間の中で、実際の世界で起こっている物理現象をシミュレートしているからです。光源から出た光が物体に当たり、反射した光が画像上のどの点を透過して、仮想的に設置されたカメラに映り込むのか。それらを全て計算してレンダリングしています。
計算時間を削減する方法として、一つは、描画する画像のサイズを小さくすること、もう一つは、追跡する光線の数を減らすことが挙げられます。
図の左側には、画素数を小さくして（=1K/2Kレベルまで画質を落として）、低解像度でレンダリングした画像を超解像技術によって情報を補い、高解像度化するアプローチが示されています。そして右側は、光線の数を減らすことで生じたノイズを除去しつつ、レイトレーシング結果に対してレンダリング情報を用いて光線を復元することで画質を向上させるアプローチです。
映像制作は、テレビの映像と違って作品として永久に残るものです。忠実に映像を再現する、映像制作のクリエイターの高い要求を満たすことは容易ではありません。そこで、映像制作で実際に使っている映像データのソースを提供してもらい、機械学習のトレーニングに活用することで、データの精度を高めるといった試行錯誤を重ねました。学習型超解像技術などで培ったノウハウも生かした結果、超解像による高精細化についてはすでにSPEによる技術評価が行われており、制作時間短縮への期待が高まっています。また、光線補間による画質向上は、現在、実証に向けた技術開発の準備が進められています。
この技術は、ゲームの領域にも応用できる可能性はありますが、ゲームへの導入ではいかに計算量を小さくするかが課題になると考えられます。なぜなら、計算量が大きくなるとフレームレートが下がり、ユーザーの体験価値が損なわれてしまうからです。今後、検討が必要になった際には、ソニーの25年以上に及ぶ機械学習の研究開発で培ってきた、処理の組み立てに関する膨大な知見を活用し、AIと機械学習の手法を結びつける発想が重要になってくるのではないかと考えています。
超解像技術の３Dレンダリングへの応用は、バーチャルの３D空間で効率よく映像を表現する技術へとつながっていきます。その意味では、映像にまつわるサービスやプロダクトには全て応用可能だと考えています。ゲーム制作や映像制作の他にも、将来は、リモート空間をありのままに、離れた場所で再現する技術への応用も期待されています。例えば、テレプレゼンス（遠隔地にいながら、対面で同じ空間を共有しているかのような臨場感を味わえる技術）でリモート空間を再現したり、ライブストリーミングの映像をリアルタイムで処理しながら、リアリティを損なうことなく、臨場感のある映像を楽しんだりすることができるのです。
AIをはじめとするさまざまな技術革新により、映像の分野においても、従来、不可能だと思われていたものが実現可能なものへと変わりつつあります。クリエイターとのつながりの深いソニーグループのエンジニアだからこそできる貢献で、作品を通じて、より多くの人たちに大きな感動を与えていきたいと考えています。
ソニーにはさまざまな製品、サービスがあります。そして、映像技術は、ほぼ全ての事業領域に関わっており、我々の開発した技術も、エンタテインメントの領域にまで広がろうとしています。クリエイターが我々の技術を使って映像を制作し、その映像を通じて、多くの方々に感動体験を届けられる。そこにこの仕事のやりがいを感じます。
大学の専攻は、実はロボットの研究でした。ただ、普遍的なロジックの構築などで共通している部分も多くあると感じます。映像と音を極めてきたソニーには、さまざまな専門家やクリエイターと協業できるリッチな環境があります。そして我々にも超解像の技術を軸とした25年に及ぶ蓄積されたアセットがあります。少しくらい専門が違っても、変革期だからこそ大きなチャンスがあると思いますので、若いエンジニアの方にはぜひ持てる力を発揮していただければと思います。
テレビなどコンシューマープロダクトからエンタテインメント系の映像制作まで、世界中で多くの方々に使ってもらえる、見てもらえるプロダクトをソニーグループとして数多く持っています。そこに高画質というダイレクトな貢献ができるのはなかなかない立ち位置だと思っています。プロダクトに導入するには大きな苦労も伴いますが、さまざまな専門家と協業して乗り越えた先の喜びもまた大きなものです。熱い志を持って一緒に働く仲間を待っています。
