People
「遠隔空間を目の前にリアルに再現できる時代」を目指して
3次元高画質化と低遅延伝送技術
2023年9月29日
新型コロナウイルスの流行によってライフスタイルは激変し、以降、いわゆる「リモート」は特別なことではなくなりました。そうした世界において私たちのリアリティを支えているのは映像と通信などのテクノロジーです。「3次元高画質化と低遅延伝送技術」によって「リモート」の場でもより高度なリアリティを実現するための技術開発を行っている研究者が高橋紀晃と小林優斗です。物理的、精神的な距離を超えてものが伝わり、共有できる未来がどんな価値を生み出すのでしょうか。
Profile
-
高橋 紀晃
ソニー株式会社
技術開発研究所
コンテンツ技術研究開発部門
知的映像技術開発部 -
小林 優斗
ソニー株式会社
技術開発研究所
コンテンツ技術研究開発部門
知的映像技術開発部
距離を縮め、新たな体験を生み出す
──取り組まれている研究について教えてください。
高橋：私たちは、遠隔地の空間や人、物がまるで「そこにある」かのように体感できる技術の開発に取り組んでいます。
私たちの研究の目標は「3次元高画質化」などの空間再現技術と低遅延伝送技術によって新たな体験価値を創造することです。映像技術を高度化するだけでなく、これまでにない体験を提供し、新たな価値を生み出す。これが私たちの研究開発のモチベーションとなっています。
──遠隔地の空間や人、物がまるで「そこにある」かのように体感できる技術とは、どのようなものなのでしょうか？
高橋：たとえば、テレプレゼンスシステム「窓」は、大画面ディスプレイを介して空間をつなぎ、臨場感や気配まで感じ取れるコミュニケーションの場を提供するシステムです。すでに社会的に実装が進んでおり、ソニー銀行では「窓」を活用した遠隔コンサルティングサービスを開始しています。また、「窓」は医療機関や地方自治体などにも導入が進んでいるそうです。
テレプレゼンスシステム「窓」
──まさに遠隔地の空間や人・物がまるで「そこにある」かのように体感できる技術の社会実装ですね。
高橋：加えて、ソニーは裸眼で実在感のある立体映像を視聴できる「空間再現ディスプレイ」を製品化しています。「Eye-sensing Light Field Display（視線認識型ライトフィールドディスプレイ）」という方式で、独自のビジョンセンサーと視線認識技術、そして我々の開発した3次元高画質化の技術が活用されており、この技術によって、映像を視聴する人の目の位置を常に検出し、左右の目に最適な立体映像を届けることが可能です。これにより、従来のディスプレイでは体験できなかった「そこにある」かのようなリアリティが生み出されます。
現在、我々はこの「Eye-sensing Light Field Display」の技術をさらに進化させ、等身大の人物を映し出すことができる55インチ縦型の8K解像度のプロトタイプを開発しています。このプロトタイプは昨年、ソニーの技術交換会STEF 2022にて初めて社外公開されました。
STEF 2022でのデモの様子
──まさに「現実」の定義が変わるようなテクノロジーです。
高橋：実物大で高精細な空間再現技術と低遅延伝送技術により、現実と遜色のないリアリティを体感できる映像の伝送を目指して開発しました。STEF 2022では、開発した3Dテレプレゼンスシステムを使用し、遠隔地にいるアイドルとの「握手会」を体験できるデモを実施。実際に体験したイベント担当者からは「特に物理的な距離がハードルとなる海外アーティストとの交流において、とても有用な技術だ」という意見をいただきました。
距離を越え、社会問題を解決する
──その他にどのようなユースケースを考えていますか？
小林：オンラインでのコミュニケーションのほかに、遠隔地での作業や支援への利用を考えています。離島や山奥など、専門家がすぐに訪れることが難しい場所へ映像を介してサービスを届けることが可能になります。
STEF 2022では、建設現場の重機を遠隔で操作して施工を行ったり、工場内のロボットや機器を離れたオペレーション室から操作したり、といった用途を想定したデモも行いました。近年、労働人口の減少によりさまざまな業界で人手不足が問題になっており、遠隔操作や遠隔でスキルを伝える、といったソリューションの需要が増加していることが背景にあります。
──開発した技術は遠隔操作にどのような効果を与えるのでしょうか？
小林：2次元的な映像を介した遠隔操作では、奥行の把握が難しい場合があります。たとえば、奥行がわからないと、機械を操作して物をつかんで移動させる、といった単純な作業でも時間がかかってしまう。3次元の映像伝送技術を使って立体的に見ることで、奥行の把握が容易になり、遠隔地でより直感的な作業が可能になります。
さらに、物のサイズが把握できるといった効果もあります。２次元のディスプレイに物を表示する場合、奥に行くほど小さく、手前に近づくほど大きく映し出されるため、サイズを感じ取ることが難しいです。しかし、我々のシステムを使うことで、例えば「10cmのサイズのものが、1m先の距離にある」といった情報を伝えることができるので、より精度の高い操作に役立ちます。
遠隔操作のデモの様子
高橋：その他にも、遠隔診療への活用を検討しています。現在、離島や田舎において医師不足が進行し、社会的な問題となっています。こうした地域において、初期医療として遠隔診療を行う際には、従来のテレビ会議システムよりも患者の正確な情報を医師に届けることができると考えています。
映像が実在感を表現できる時代へ
──お二人はどのようなモチベーションで現在の研究の世界に進んだのですか？
小林：私が3次元の映像技術に興味を持ったのは、中学生や高校生の頃にあった、いわゆる“3次元ブーム”がきっかけでした。3次元テレビや３次元ゲーム機を初めて見たときに感じた「映像に自分の手で触れられそうな感覚」に衝撃を受けました。
現在は遠隔操作という物理的な距離に関わる研究をしていますが、私の原体験は3次元映像技術によって変わるコンテンツとの「心の距離」だったように思います。たとえば同じ映画でも、3次元になると、2次元で見たときよりも映画の登場人物が自分の近くにいるように感じることがあります。映像技術によってそのような感動を届けられるなんて面白い。そんな想いがきっかけになって、大学以降は実際にデバイスを開発することに関わり、そして、自分で技術をつくり出そうとソニーに入社しました。
高橋：私はちょうどテレビがハイビジョンになった頃にソニーに入社し、入社後はテレビの高画質化や、カメラの高画質化、伝送系の高画質化などに取り組んできました。
現在は3次元映像の技術開発に取り組んでいますが、今までの2次元映像の高画質化で培ってきたノウハウが生かせる「映像の美しさ」はもちろん、それに加えて、いかに高い「実在感・臨場感」を提示できるか、というところに新しい技術開発の可能性があふれていると感じます。
小林：ソニーでは、研究の成果を商品化して世の中に提案することができます。研究からアウトプットまでできるところにやりがいを感じています。今後も３次元映像の技術開発を続け、社会に役立てるような提案を考えていきたいです。
将来性は出会いの中から生まれてくる
──これらの技術は社会を今後どのように変えると考えていますか？
小林：用途や使ってもらう人のことを想像しながら研究開発を進めていますが、将来的にどれほど多くの人に使ってもらえるか、会社にとって大きな利益になりそうかを、研究開発の段階から推測するのは難しい。だからこそ、ソニーの技術交換会であるSTEF 2022のような場で、社内外の方からさまざまな反応をいただけたのはとても有益でした。また、外部の方からビジネスに使ってみたいというお話もいただけたことも成果の一つです。
高橋：STEF 2022では、「握手会」だけでなく、アイドルがCDの紹介をする録画映像を用意し、実際のCDをディスプレイの前に置いて「サイネージ」的なデモを用意しました。体験した方からは「この3次元映像があって、CDを目の前に差し出されたら買っちゃうよね」といった感想も聞かれました。しかも、本当にそのアイドルのファンになってしまい、ライブに行ったという話も聞きました。私たちの技術は「遠隔地に行かなくても体験できるようになる」というだけでなく、テレビの黎明期に野球中継によって野球場に足を運ぶファンが増えたように、人々がよりリアルに触れたくなり、よりリアルの価値を訴求できるのではないかと考えています。
