Eye-sensing Light Field Display（視線認識型ライトフィールドディスプレイ）は、空間にリアルな立体物を再現し、自由な視点から立体空間を見回して視聴できるディスプレイです。高い空間解像度を軸としつつ、「奥行き再現」や「空間融合」といった要素を付加することで、表示させる物体があたかもユーザー空間上に“ある”・“いる”かのような実在感を得られる点が、従来の立体ディスプレイとは異なる大きな特徴です。
Eye-sensing Light Field Displayを製品化した15.6型4K解像度の空間再現ディスプレイ「ELF-SR1」を、2020年10月の日本での発売を皮切りに、北米や中国で展開しています。また、ELF-SR1の画素密度は維持しながら縦横2倍のサイズに拡大した32型8K解像度の空間再現ディスプレイの開発を進めており、2021年夏に開催された「Sony presents Dino Science 恐竜科学博 〜ララミディア大陸の恐竜物語〜 2021@YOKOHAMA」では、そのプロトタイプを特別展示しました。
Eye-sensing Light Field Displayのベースとなる技術原理において、重要な要素の1つとなるのが「Light Field（＝光線空間）」です。人間が存在する空間は、様々な光源や立体物体から構成されています。そして、これを人間が見ている世界として考えると、無数の光線からなる光線空間として表現できます。
しかし、その空間にある光の数は非常に膨大となるため、すべての光を再現するディスプレイの開発は非現実的です。そこでEye-sensing Light Field Displayでは、膨大な光線空間の情報から、見ている人に必要な光線だけを選んで再生するシステムを開発しました。これにより、高精細な光線空間を自由に見回して視聴することが出来ます。
システムの流れとして、まずは表示する領域を決め、さらにそこから視聴者の左右の眼に届く光のみを選択します。そのためには、視聴者の眼の位置を高速・高精度に捉え、さらにその動きを追従するセンサーが必要です。次に、選択された光線を裸眼3Dディスプレイ面に投影し、ディスプレイの各画素ピクセルから左右の眼に向けた画素値をリアルタイムに算出・描画します。視聴者の左右の眼に届く光線をリアルタイムに正しく選択することで、「そこにある」かのような実在感のある立体空間を再現しています。
視聴者に、物体が「そこにある」かのように感じさせるためには、視聴者の両眼から見た正しい視点画像を常に表示し続ける必要があります。そこで、ソニーが持つ高速ビジョンセンサーと高精度な顔検出技術を使用したEye-sensingシステムによって、視聴者の目の位置を常に正しく検出し、リアルタイムに把握します。高速ビジョンセンサーで、数ミリ秒単位で撮像し、顔の位置を判断、更に、目、顔の輪郭などの顔特徴点を特定します。この特徴点情報から顔の3D形状を推定することで、距離だけでなく顔の回転方向も算出、視聴者の様々な動きに追従します。撮像レンズも含めたカメラシステムとしての最適化により、水平50度、垂直60度の範囲で自由な視点からの視聴と自然で滑らかな運動視差を実現しています。撮像からレンダリングまでを低遅延で処理することにより、視点画像間が混ざって見える“クロストーク”の発生や映像酔いの原因となる映像の遅れを最小限に抑制することができます。
顔検出技術は、Deep neural network(DNN)技術を適用したアルゴリズムを開発し、高速ビジョンセンサーに最適化することで、撮影時のノイズや照明環境によるブレに影響されにくく、快適で安定した視聴を実現しています。また、見ている人がマスクをしている状況でも安定して顔検出できる性能も実現しています。
視聴者の眼の位置情報をベースに、ディスプレイパネルから出力される光源映像をリアルタイムに生成。前述の技術原理に基づき、見ている人の視点位置に限定した光線を透視投影画像として生成することで、現実空間と同様に自由な視点から立体空間を見回すことができます。この透視投影画像は、ディスプレイ面上では、歪んだ画像が出力されていますが、視聴者の位置から正しく歪のない画像を表示することで、一種の錯覚を生み出します。これは、ディスプレイの存在を意識せずに、「そこにある」かのような実在感を感じる視覚効果の一つとなっています。
なお、近年、ゲームエンジンの表現力が大きく向上しており、ゲームだけでなく映像制作の現場や建築デザインなど、リアルな映像再現が要求される現場でも高い写実性が認められています。このようなゲームエンジンを利用することで、リアルタイムにリアルな立体映像をレンダリング・描写することができます。また、クリエイターやデザイナーが普段から馴れ親しんでいるツール、環境で制作する事が出来ることから、既存コンテンツの活用や新たなアプリケーションへの広がりも期待できます。
リアルタイムに生成した映像を左右の眼に届けるため、独自のマイクロオプティカルレンズで、自然で高精細な裸眼立体視を実現しています。従来のレンチキュラーレンズやバリアを用いた裸眼3Dディスプレイでは、視聴域を広く取るために多数の視点を提示する必要があり、解像度の劣化や視点映像間のクロストークによる画質低下が課題となります。それに対し、視点位置センシングとリアルタイム光線再生アルゴリズムを前提にすることで、左右２視点の映像生成に特化した光学設計を可能としています。また、疑似的な視点数を十分に設け、左右の２視点分の映像を選択的に表示制御することで、解像度劣化と視点間のクロストークを最小限に抑えることができます。
なお、この表示制御は、マイクロオプティカルレンズとフラットパネルディスプレイの貼り合わせの過程で少しでもズレが生じると成立しません。そこで、数十μm精度で貼り合わせる製造技術と、更に、製造後に微細なズレを検出する調整システムを開発しています。この調整情報に従って、リアルタイム映像処理時にズレを補正処理することで、さらに立体映像品質を向上させることが出来ています。
ここまで、３つのコア技術を説明してきました。そのほか、カメラ、ディスプレイ、視聴者の位置関係を高精度に調整できるキャリブレーションシステム、クロストークをさらに低減する補正信号処理なども導入しています。ソフトウェアやアルゴリズムには、VRヘッドマウントディスプレイの技術も活かされています。エルゴノミクスデザインも重要と考えており、ディスプレイ面を斜めに配置することでディスプレイ面を感じさせない工夫や、立体空間をより視認しやすくするための構造物の配置を導入しています。
このように、ソニーグループのさまざまな研究開発と連携し、最適化された技術群を高いレベルで統合することで、これまでにないリアルな立体映像体験を実現しています。
Eye-sensing Light Field Displayはパーソナルユース（1人での利用）に限定し、幅広い独自技術を集約することで、従来の立体ディスプレイとは一線を画す“リアルな空間再現”を実現しました。生活空間の中に置いて、気軽に3Dコンテンツの立体的な表現をリアルに楽しむ事が出来、新たなエンタテインメントの価値が誕生する可能性を生み出します。現在、実写3D空間をキャプチャするVolumetric Capture技術は応用段階に入り、映像制作や、AR/VRヘッドセットなどでの視聴の機会が広がっています。このような3Dデータも、そのまま立体空間として視聴できるディスプレイとして、より幅広く利用されることが期待されます。
また、ゲームや映画といったエンタテインメントはもちろん、教育、ビジネス、医療など各種プロフェッショナル用途としての展開も期待されています。空間配置を直感的に把握できることから、業務用途での作業効率の向上やプレゼンテーションで有効な活用が見込まれます。更に、リアルタイムに空間をキャプチャ、伝送する技術と組み合わせることで、離れた場所にいる人と、その場で会話しているようなコミュニケーションや作業ができるようになると考えています。
将来的には、より広い範囲の奥行きを再現できる技術として、ホログラムにも注目しています。現在は、位相変調SLMを用いたベンチトップ試作において、カラーのホログラム再生像で焦点調節が有効に機能することを確認できています。また、Deep Neural Networkを用いた、高画質かつリアルタイム演算可能なアルゴリズムの実証実験にも成功しています。自然な立体再現を目指す中で、画質・計算量・視域・視野が課題となりますが、今後もデバイスと信号処理の進化を見据えながら、技術開発を進めていきます。
この技術は、R&D発の技術が商品やサービスに繋がった例の一つですが、私たちの技術の独自性が価値として認められ、お客様から様々なフィードバックを得られることが大きなやりがいになると感じています。研究開発は、目標達成に向けて試行錯誤の連続です。アイデアを具現化していくためには、一つの技術だけでは成り立たず、様々な側面から検討を加えることで、完成度が高まります。仲間を巻き込みながら、より洗練させ価値を高めていく楽しさを味わっていただきたいです。
Eye-sensing Light Field Displayは様々な先端技術の集合体です。そのため、各方面の専門家とコミュニケーションを取りながら、いくつもの技術をまとめ、ブラッシュアップしてきました。新しいものを高い性能レベルで作るということはなかなか難しく、我々も日々悩んでいます。そのためには可能な限り難しいことにも果敢に挑戦していくことが重要です。
SF映画のような世界観を、自分の手で実現できる可能性があるというのは非常に面白いです。研究開発は2つのやりがいがあると思っています。世の中に貢献するために新しい世界を作っていくやりがいと、自分のレベルアップのやりがいです。自分が楽しくないと仕事は上手くいきません。
良い製品を生み出さないと、3D表現の文化は逆に後退する可能性もあります。それだけに、新しい文化を作っていくことの“責任感”を感じます。ソニーはさまざまな分野の事業に取り組んでおり、部署ごとの雰囲気や文化の違いも感じられます。交流や異動も少なくないので、そういった点にも注目してほしいです。
新しい体験価値として、ユーザーにどれだけの“WOW（＝感動）”を提供できるか。そこにやりがいを感じます。 R&Dセンターは、世の中の5年あるいは10年先を見据えて最先端の技術を研究開発しています。未来を作っていきたいという人には、これ以上にない魅力的な環境です。
