私たちのプロジェクトは、新しい映像体験を提供できるディスプレイの開発を目指しています。それは、「そこにある感（実在感、存在感）」を表現できるディスプレイ。SF映画では、何もない空間に突如人物の立体映像が現れて、あたかもその場にいるかのようにコミュニケーションを取るシーンをよく目にしますが、そんな世界を現実のものにしたいと考えています。
現実世界と仮想世界を融合した没入感や実在感の高い映像体験の実現が期待される、XR技術を活用したディスプレイには、大きく2つの領域があると言われています。１つ目は、自分の周囲を取り囲んで別空間にいるかのような没入感のある「Panoramic XRディスプレイ」。２つ目は、見る人が一つのオブジェクトを囲んで同時に実在感、存在感を楽しめる「Volumetric XRディスプレイ」。
透明スクリーンディスプレイは、これらの中でも、新しいVolumetric XRディスプレイの可能性を追求し、開発された技術です。XRディスプレイと言えばHMD（Head Mounted Display）などの装着型を想像されると思いますが、我々は特別なデバイスを装着せず、裸眼のままで、あたかもそこに物体があるかのように感じさせる透明3Dディスプレイの実現を目指しています。
この研究の最初のステップとして開発したのが、透明性と輝度の両立するスクリーンにより、2Dでありながら浮遊感のある映像表現を実現する、円筒型透明スクリーンディスプレイです。
出典：K. Nomoto, “Toward “KANDO” Creation with Immersive Visual Expression,” The 27th International Display Workshops (IDW ‘20), Vol. 27, 5-8 (2020).
円筒型透明スクリーンディスプレイ。最大輝度1,000 cd/m2、本体サイズは直径100 mm×高さ180 mm程度で、室内での利用を想定しています。
透明スクリーンディスプレイの開発において、大きな課題となるのが、映像を映すスクリーンにおける、透明性と輝度の両立です。この2つの性能は本来トレードオフの関係にあり、スクリーンの透明性を追求すればするほど投影される映像は暗くなり、映像の明るさを求めればスクリーンは白い曇りが生じます。私たちはこのトレードオフを解決する、最適な透明スクリーンの技術方式を探索しました。その中で有望だと思われたのが、透明フィルムに様々な光学機能を付与できる回折光学素子、HOE（Holographic Optical Element）を用いる方式です。
感光性のフォトポリマーフィルムにレーザー光を照射します。物体光（拡散光）と、参照光の2本のレーザー光が照射されると干渉縞が発生します。干渉縞の光を強め合う部分、弱め合う部分でフィルムの中の物質が変化し、屈折率の高い部分、低い部分が形成されます。干渉縞が記録されたフィルムに、参照光と同じ波長と入射角の照明光を当てると、フィルムを透過するときに、物体光と同じ振る舞いをする再生光が発生します。一方で参照光と異なる条件の光はそのまま透過します。
これは、ホログラムによって立体的に映像が浮かび上がるのと同じ原理です。ホログラムは、物体光を記録したフィルムに照明光を当てることで、あたかもそこに物体があるかのように映像を再現します。我々のHOEスクリーンでは、記録するべき物体光として拡散光を用いることで透明なスクリーンを実現しています。
HOEスクリーンの原理
HOE自体は、研究レベルでは古くからある技術です。しかし、回折効率、透明性、面品位など、ディスプレイとして実用可能なレベルのHOEスクリーンの製作にあたっては、繊細な作業と様々なノウハウが必要です。我々は作製設備の立ち上げから始まり、シミュレーションや実験・評価を繰り返すことでHOEスクリーンを作製するプロセスを一から確立していきました。また、スクリーンの透明性・輝度の両立と並ぶ、もう一つの課題が、スクリーンサイズの大型化です。スクリーンサイズを大きくすると、面内のムラも大きくなってしまう問題がありましたが、均一な照射ができるように試行錯誤を繰り返すことで、ムラのない高品位なHOEスクリーンを作製することが可能になりました。
レーザー露光装置：フォトポリマーフィルムに２光束のレーザーを照射して干渉縞を記録します。露光装置の光学系や露光条件などには、これまでの研究ノウハウが活かされています。
配光特性装置：ガラス基板の上にサンプルを置いて、サンプルを回転させながら光を当てて、どの方向にどれくらいの光が飛んでいるかセンサで計測します。これによりHOEの拡散特性を評価することができます。
分光測定器：分光スペクトルを取得することにより、HOEスクリーンの透過率や回折効率を測定します。
ヘイズメーター：透明フィルムに光を照射して、フィルムの曇り度合を測定します。
レーザー露光装置
分光測定器
HOEスクリーンは外光の影響を受けやすいため、実用的な透明スクリーンディスプレイの実現には、外光の影響を受けにくい構造アイデアが必要でした。私たちは、ソニーが持つディスプレイデバイスの知見を活用し、独自の円筒投影光学系を考案しました。
円筒面全面にムラなく、明るく、高精細な映像表示を可能にしているのが、レンズとミラーのセットで構成される独自の円筒投影光学系です。
ディスプレイの下部にあるレーザープロジェクターから、映像光が照射されます。プロジェクションレンズを通って上方に向かって投影された映像光は、天井部のミラーで反射し、アクリルシリンダーの内側に貼付されたHOEスクリーンに結像します。このHOEスクリーンは、映像光の入射角に合わせて最適に設計・作製されています。さらに、設計的な自由度も高いため、映像光の入射角や回折光の出射角と拡散角は変えることができ、用途に応じた視聴位置に対し輝度を最大化することもできます。
また、LEDなど光源波長スペクトル幅の広い光源ではなく、HOE回折スペクトル幅よりも狭いレーザーを光源とすることで、スクリーンに投影された映像光をより高い効率で拡散することが可能です。
これらにより、プロジェクターの映像光はHOEスクリーンの回折条件と一致して強く拡散する一方、背景光や照明光は回折条件から外れるので透過します。つまり、明るい照明環境下においてもスクリーンの透明性を保ちつつ、高輝度な映像が表示され、実空間の背景に融合した浮遊感の高い映像を提供することができます。
円筒型透明スクリーンディスプレイの構造
T. Nakamura, T. Yano, K. Watanabe, Y. Ishii, H. Ono, I. Tambata, N. Furue and Y. Nakahata, “360-degree Transparent Holographic Screen Display,” ACM SIGGRAPH 2019 Emerging Technologies, Article No. 1 (2019).
HOEスクリーンと従来の透明スクリーンのヘイズと輝度の比較
HOEスクリーン（a）と従来の透明スクリーン（b）のヘイズと円筒型透明スクリーンディスプレイ時の輝度を比較したグラフ（c）です。ヘイズは白く曇る度合いを意味します。横軸はヘイズ、縦軸は相対輝度を表しており、HOEスクリーンがヘイズ、輝度とも優れていることを示しています。
SIGGRAPHでの発表後、円筒型透明スクリーンディスプレイの、「キャラクターコンテンツを表示するハードウェア」としての活用を期待する声を、社内外から頂きました。具体的には、AIスピーカーなどに本技術が搭載されれば、スピーカーにキャラクターを投影することでAIにキャラクター性が付与され、人とのデジタル世界、人とデバイスの新たな関係構築につながるのではないかと考えています。
また、透明スクリーンのアプリケーションをさらに広げるべく、平面タイプの透明スクリーンディスプレイの開発も進めています。最新のプロトタイプでは、小型のプロジェクターを使っているのにもかかわらず、輝度3,000 cd/m2以上、透明性85%以上を達成し、明るい照明環境下でも高輝度な映像表示を実現しています。今後、小売などのレジや金融分野の対面コンサルなどの接客シーンでのデータ掲示や、耳の不自由な方へのリアルタイムの字幕表示など、新たなコミュニケーション促進の一助になることも期待しています。
透明スクリーンディスプレイという新たなテーマに取り組むにあたり、材料、デバイス、光学、メカ、電気、ソフトウェアなど様々な技術バックグラウンドを持ったメンバーが集まったことが、開発を進める上での強みとなりました。プロトタイプの製作においても、デバイスからディスプレイまで一気通貫で手がけることで、ディスプレイを意識したデバイス開発ができ、見る人が製品や活用のイメージを掴みやすい、完成度の高いプロトタイプを作り上げることができていると考えています。透明スクリーンディスプレイが生活の様々なシーンで実用化され、今までよりも豊かなコミュニケーションが普及していく。そんな世界を思い描いて、私たちは開発をさらに加速させていきます。
「新しいディスプレイを自分の手で創りたい」という想いから始まったプロジェクトです。自分が面白いと思うアイデアを提案し、プロジェクトとして認められれば、さまざまな領域の技術者が参加してくれ、チーム一体となって目標に向かって開発を進めることができます。チャレンジを認められる環境であったからこそ、開発を続けられ、実際に形にすることができました。一つのことを突き詰めて形にする、そんな情熱と意欲にあふれた方と、ぜひ一緒に仕事ができると嬉しいです。
以前はイメージセンサの設計を担当していましたが、透明スクリーンディスプレイを開発するプロジェクトの存在を知って、自らこの研究テーマに取り組むことにしました。光の受け手側から出し手側へ。専門分野の異なるメンバーを受け入れ育てる、そんな懐の広い職場環境に感謝しています。そして、複数のプロジェクトへチャレンジもでき、自らの意欲次第でエンジニアとして大きく成長できる会社だと実感しています。
ソニーのR&Dセンターは、自分の専門性ややりたいことを突き詰めることはもちろん、新しいことに挑戦する機会にも恵まれています。自分が「今」興味のあることに関わるために、開発案件の掛け持ちやプロジェクトの異動など様々な選択肢があります。この自由な開発環境が、リサーチャーにとっての働きやすさであり、やりがいでもあります。
学生時代に、国際学会で展示されていた円筒型透明スクリーンディスプレイのデモを見たことがきっかけでソニーに入社しました。入社当初は、ディスプレイ技術については詳しくはありませんでしたが、専門としてきた波動光学の知識と経験がHOEスクリーンの開発に活かせています。それぞれのメンバーが自分の強みを持ち寄って貢献することで、チームとして成果を出していくことができていると思います。
