超リアリティ映像体験を実現する
あらゆる映像を4K/8K画質に変換できる「超解像処理」をはじめ「ノイズリダクション」「階調・色復元」「動きボケ除去」といった映像機器向けの信号処理技術を広く開発しています。さまざまな種類・品質の映像に対して、データ圧縮などで失われた時空間解像度、階調・コントラスト、色に関する画質要素を復元し、高解像・ハイダイナミックレンジ（高輝度）、広色域の映像を提供します。映像技術の基本となる高画質化を通じて本来の質感やリアリティを再現することで、新たな映像体験の向上を追求しています。
大容量データである映像情報を、ネット配信や記録保存するために欠かせないのが、データの圧縮・伸張技術「映像コーデック」です。これまでMPEGでの国際標準規格化に技術貢献するとともに、ソニーの各製品にカスタマイズしたコーデック技術を提供してきました。8K、VR、自由視点映像など新しい映像フォーマットの普及に伴い、今後も映像情報のデータ量が飛躍的に増加していく傾向にあります。更なる高圧縮率を実現する最新ビデオコーデック規格VVCの開発や、ポイントクラウドやメッシュなど新たな映像体験を提供する空間映像に対するコーデック開発を進めています。
特性の違う複数センサを並列配置することで高性能化を実現するマルチカメラシステムを開発しています。近年，現実世界の3次元情報のデジタル化，いわゆるデジタルツインの活用が様々な分野で取り組まれており，距離を測定できるデプスセンサの利用が広くされ始めています。このデプスセンサと従来のカメラとの組み合わせで，複数の位置で撮影した画像および距離データから，高精度に3次元情報をより簡単に取得することが可能になります。また，複数センサ間の対応箇所を検出する技術と，センサ毎の特性を融合するフュージョン技術を開発しています。
実世界を移動するデバイスを利用して、自身の位置・姿勢や周辺の距離を推定し、複数の観測結果を統合することで環境構造を3次元的に再構成する技術です。ソニーではカメラを利用したDepth Estimation、Visual SLAM、3D Modelingのアルゴリズムに関する研究開発に取り組んでいます。これらの技術は、モバイルやゲームでのARからロボットのナビゲーションまで、ソニーの幅広い事業領域での活用が期待されています。また、アルゴリズム開発だけでなく、自社製のイメージセンサと密に連携することで世界最高性能の実現を目指しています。
実世界を3次元的にキャプチャすることにより、後から自由に視点を動かして映像を視聴できる技術が「自由視点映像」です。この技術は「全天球映像」と「任意方向自由視点映像」に二分されます。現在の全天球は３自由度しかありませんが、並進移動の３自由度を合わせた「６自由度全天球」や、任意方向自由視点を実現するために、特定の範囲の空間をキャプチャする「ボリュメトリックキャプチャ」にも取り組んでいます。コンピュータグラフィックスでありながら、実写映像のようなフォトリアリスティック表現を実現するために撮像・映像技術の蓄積を生かした技術開発を行なっています。
従来のカメラ撮像系がレンズとセンサで構成されるのに対し、特殊な光学系・センサ・照明などの撮像システムと、後段の信号処理との統合処理によって新たな機能を実現する「Computational Photography」と呼ばれる技術分野が近年注目されています。ソニーがこれまで培ってきた画像信号処理技術に、独自開発を行った偏光イメージングセンサや分光センサ、レンズレスカメラなどを組み合わせることにより、高精度な形状取得や植物活性度の測定、超薄型・広角撮像などのさまざまな新機能を実現しています。
