Cutting Edge
視線認識型ライトフィールドディスプレイ
3Dクリエイターの想いを、そのままお客さまへ
2020年9月30日
ショールームでの展示用ディスプレイやエンタテインメントを楽しむディスプレイなど、さまざまな用途で活用が期待される3Dディスプレイ。しかし、これまでは映像コンテンツの画像の粗さ、3Dメガネをかける煩わしさ、映像を見たときの「酔い」といった課題がありました。
今回、ソニーが開発した視線認識型ライトフィールドディスプレイ（Eye-sensing Light Field Display（ELFD））は、これらの課題を解決する可能性を秘めた、新たな3Dディスプレイです。クリエイターと一体となってコンテンツだけでなく、その制作環境も整えることで、幅広い分野での普及をめざしています。
プロフィール
-
横山 一樹
ソニー株式会社
R&Dセンター
Tokyo Laboratory 09 -
栗原 貴之
ソニー株式会社
R&Dセンター
Tokyo Laboratory 01 -
木村 隆臣
ソニー株式会社
R&Dセンター
Tokyo Laboratory 10
-
河村 万
ソニーホームエンタテインメント&
サウンドプロダクツ株式会社
TV事業本部 商品設計部門 -
山村 タイザ
ソニーエレクトロニクス（米国）
ビジネスディベロップメント
ソニー独自の技術が叶える「実在感」
──ELFDとはどのようなディスプレイなのでしょうか？
河村：ELFDは、見る角度を変えてもリアルさは変わらず、あたかもモノがそこに実在するかのように立体的に見えるディスプレイです。高精細の3DCG映像を裸眼で体験でき、3DCGクリエイターが作品を確認するためのモニターをはじめ、ショールームでの展示用ディスプレイ、エンタテインメントを楽しむディスプレイなど、広範なアプリケーションでの活用を想定しています。例えば、テレビのリモコンなどの小型製品のモックを作成する前に、2Dディスプレイではわかりにくい量感、質感、モノとしての佇まいを、ELFDであればよりリアルに確認することができます。
CES 2020では対角15インチ相当のプロトタイプを展示。 同サイズに収まるものであれば、立体物として高精細に表示できる。
──どのような技術が使われているのですか？
横山：ソニー独自のさまざまな技術が詰め込まれています。主に、（1）高速・高精度のリアルタイムセンシング技術、（2）リアルタイムでの光線レンダリング技術、（3）高精度の3Dディスプレイ技術、という3つの要素技術があります。
まず（1）高速・高精度のリアルタイムセンシング技術では、ソニー独自の高速ビジョンセンサーと顔認識技術を使用することで、検出精度が高く、遅延の少ない視線認識を実現しました。見る人に物体があたかもそこにあるかのように感じさせるためには、常にユーザーの両眼から見た正しい視点画像を表示し続ける必要があります。本技術により、水平や垂直方向のみならず、奥行方向に関しても左右の眼それぞれの位置をリアルタイムに算出することができます。
次に（2）リアルタイムでの光線レンダリング技術です。この技術では、はじめにユーザーの位置情報をもとに、表示装置内に被写体が置かれていた場合を想定し、ユーザーがそれを実際に両眼で見ている画像を取得します。次にそれをディスプレイ面上での一種のだまし絵に変換します。これを常に正しく左右の眼に届けるマイクロオプティカルレンズの技術と組み合わせ、実際にディスプレイパネルから出す光源画像として生成します。リアルタイムに作成したこの画像が、ELFDで高精度かつ高速に表示され、常に両眼に正しい視点画像が提示されるので、実際に被写体がそこにあるかのように感じることができるのです。
高速・高精度のリアルタイムセンシング技術
リアルタイムでの光線レンダリング技術
栗原：そして（3）高精度の3Dディスプレイ技術です。これまでも3Dメガネを必要としない3Dディスプレイは存在しましたが、解像感が低く、片方の眼の映像がもう一方の眼の映像に混ざる”クロストーク”という現象のために、精度の高い立体映像を提示できませんでした。ELFDは、ソニーの高速ビジョンセンサーを最大限に活用し、視線追従を前提とした独自のマイクロオプティカルレンズにより、従来の3Dディスプレイと比較してクロストークを大幅に低減し、高精細な映像を提供することができます。
高精度の3Dディスプレイ技術
──ELFDの開発に至るまでに、ソニーではどのような3Dディスプレイを開発してきたのでしょう？
横山：10年ほど前に一度3Dブームがありました。当時、ソニーでは3Dメガネ式の3Dテレビの開発、商品化を行っていました。しかしこの3Dテレビは、最初は興味深く受け入れられましたが、人によっては立体に見えないと感じる人や、視聴中に酔いを感じてしまう人も一部おり、残念ながら定着はしませんでした。
その数年後、再び両眼視差まで取り入れた3Dディスプレイの検討が始まりました。当時の栗原さんの部署がメディカル用に開発していた裸眼3Dディスプレイが非常に高精細であり、これを見て私も「行ける」という感触を持ちました。このディスプレイの技術を発展させて、ディスプレイパネルの配置や正しい視点画像の検討を進めることでELFDの原型が完成したのです。これをソニーグループ社員向けの技術展示会やCESで公開しましたが、3Dテレビの時とは異なり、効果がわからないという人がほとんどいませんでした。常にひずみのない両眼視差の提示、融像を促進するために筐体への実際の比較手がかりとなる側壁等の設置、そして遅延の少ない運動視差の提示、これらが万人に対して奥行知覚の手がかりを与えているのだと考えます。
クリエイターの制作意図を忠実に再現する
──開発において、大切にしたことはありますか？
木村：ELFDの開発において軸となっているのは“Creator’s Intent”（クリエイターの制作意図を忠実に再現する）というコンセプトです。単に技術的に秀でているだけでなく、映像の表現者であるクリエイターにとって価値のある製品とする、という意味です。ですから開発プロセスにおいても、クリエイターとの対話を重視しました。私たちは今回、クリエイターが使い慣れたツールを使用してELFDのコンテンツをつくれるよう、3D映像コンテンツの制作環境の中でもユーザーの多い『Unity』と『Unreal Engine』に対応したソフトウェア開発キット（SDK）を開発しています。その開発当初から、1カ月に一度くらいの頻度でα版、β版のSDKを社内外のパートナーにリリースし、フィードバックを受けて改善してきました。開発初期からキットを使ってもらうことで、クリエイターが本当に満足する精度や性能を知ることができますし、クリエイターと一緒に商品を盛り上げていくこともできると考えています。
ツールを用いたコンテンツの制作過程
──ELFDを体験した人の反応はいかがでしたか？
山村：CES 2020では、ELFDを体験しようとする人の列ができるほど大盛況でした。実際に体験した人からたくさんのポジティブな意見をいただき、私たちが思いつかなかった活用方法の提案もありました。さらに、アメリカにおける最大のAVシステムインテグレーションの展示会であるInfoComm 2020では、“AV Technology Best of Show Special Edition”を受賞しました。製品の活用の場が社内外のパートナーとつながることで大きく広がり、それが人々の生活の向上につながっていく。そのすばらしさを実感することができました。
クリエイターとともに、3Dコンテンツの可能性を切り拓く
──今後の展開や可能性について、商品設計・研究開発の面からお聞かせください。
河村：ハードウェアとしてのELFDの魅力をいかすためには、その魅力を引き出すコンテンツが重要であり、そのためにはクリエイターのコンテンツ制作環境を整備することが重要です。まずはSDKのように、コンテンツの制作に必要なソフトウェア、ツールを整え、確認のためのELFDディスプレイを供給する。それによって作る、見る、配るという最小のエコシステムが具体的に回るようにしたいと考えています。
横山：現時点でのELFDは、表示領域を小さな直方体領域に制限し、視聴者を一人に制限することで実現しています。そのため、領域からはみ出るようなコンテンツや、複数人で同時に見る状況では、正確な立体映像を見ることができません。今後はこれらの課題を解決していきたいと考えています。装置を大型化する際に難しいのは、奥行きが大きくなり、視認性が低下してしまうことです。検証を重ねて、鮮鋭感を維持したまま大型化を実現したいと考えています。視聴人数に関しては、まず「2人」で現状と同じ精度の視聴体験ができる状態をめざします。同じコンテンツを2人で一緒に鑑賞するユースケースは多いと思うので、これが実現できれば用途はさらに広がると考えています。他にも、ユーザーが速く動いても完全に被写体が定位するよう、リアルタイムセンシングの性能をさらに引き出し、よりフレームレートの高いディスプレイへの対応、レンダリングの高速化も進めます。
──将来実現したいこと、成し遂げたいことを教えてください。
木村：XR（AR/VR）は今後のエンタテインメントやB to Bのさまざまな分野において、またウィズコロナ・アフターコロナの時代においても成長の余地が大きい領域です。クリエイターの発想次第で、新しい用途が次々と生まれていくと思うので、今後もクリエイターが思い通りにコンテンツを制作するための技術開発を進めていきます。
横山：「あたかもそこにあるかのような立体映像」を実現することは私の長年の夢でした。ELFDはさまざまな分野のクリエイターに良質なコンテンツを制作していただくことで、クリエイターと一緒にこのディスプレイを普及させ、この表示を一過性ではなく当たり前のものにしていくことをめざしたいと思っています。
河村：将来的には、教育やVRの表示装置として、さらにはB to B向けのソリューションサービス、コンテンツ配信などへの展開を視野に入れています。ビジネス開拓の裾野の広い新規領域なので、今後もELFDの世界をソニーグループ全体で盛り上げていきたいと思います。
