Initiatives
「フィジカルとバーチャルがつながる」を体験！
STEF 2022当日レポート
2023年3月15日
近年、感動が生まれる場所がフィジカルからバーチャルへと拡張しています。それを捉えて「STEF 2022」では「フィジカルとバーチャルがシームレスにつながる」をテーマに、
1. 「フィジカルの世界をとらえる」
2. 「デジタルプロセッシング」
3. 「フィジカルに還元する」
という3つの軸を定めて17点の技術や取り組みをソニーグループ本社および特設Webサイトで展示しました。
ここでは本社で体験した技術展示の一部をご紹介します。
1.フィジカルの世界をとらえる
「ToF AR」VTuber向けアプリ
「ToF＝Time of Flight」とは、光を飛ばして反射して跳ね返ってくるまでの時間を測り、物体までの深度情報を取得する技術で、今回展示された「ToF AR」はこの技術を用いたソフトウェア開発キットです。高速で対象物を動かした場合でもスムーズで自然なハンドトラッキングができ、奥行きの認識精度も高いなど、さまざまな特長があります。
「ToF AR」はアプリケーション開発者をターゲットとしており、深度情報を活用したアプリケーション開発の促進を目指しています。
展示ブースでは、マーカーなどを装着せずにスマートフォンで撮影するだけで自分自身の動きを3Dアバターが追従し、自分とアバターが同じ動きをするデモを体験できました。
他の参加者からは「スマートフォンのカメラで取得した深度情報を使って、指を鳴らすような細かな動作も認識できるのはすごい」などの声が聞かれました。
撮影収録配信支援
続いての展示ブースで紹介されていたのは、音楽ライブを模したステージとともに設置された「自動撮影システム＆カメラロボット」。コロナ禍におけるオンラインでのエンタテインメント需要の高まりを背景に、音楽ライブなどにおける無人化での撮影を可能にし、音楽ライブの高品質かつ低コスト撮影を実現しています。
実演デモでは、出展者がアーティスト役としてステージに立ち、ライブを想定した撮影を自動撮影システムが行っており、人を追従撮影するカメラロボットを間近で見ることができました。
自動撮影システムを支える操作用タッチパネルは、映像クリエイターによって鍛え抜かれた独自UIとなっており、これによって無人カメラを制御し、カメラワークをソフトウェアで処理しています。
カメラロボットは、アーティストの動きに合わせて移動しながら撮影することで、動きと迫力のある新しいカメラワークを実現します。操作ツールでは、ロボットの環境地図や撮影シナリオが簡単に作成できます。今後は、スイッチャーと連動させて最適な画角を提案できるなど、さらなる自動化を目指した開発を進めていくとのことです。
2.デジタルプロセッシング
サージカルシミュレーター
仮想空間でリアルな体験ができるサージカルシミュレーターでは、物理法則に基づいたリアルタイム演算によって、本物のような物理操作を体験できました。
新たに開発した物理エンジンにより、ハプティックデバイスを介して柔らかい臓器を触れているようなリアルな感触を得ながらシミュレーションが可能です。異なる硬さを再現したブロックによって硬度や質感の違いを感じ、さらにそれを変形させたときの、絶妙な力加減の違いを体感したりすることができました。
さらに、レイトレーシング技術を用いた写実的なビジュアルと手術手技を再現するモデルによって、実際の手術で行う凝固、クリッピング、切離を体験できました。
サージカルシミュレーターは、長い年月を必要とする医師教育に効果的な訓練手段として活用されていくことが想定されています。今後の展望について、担当者は「仮想空間でのトレーニングによって現実空間の手技が向上すれば、多くの実際の手術時のデータを蓄積できる。これが仮想空間の再現性をさらに高めていくことにつながり、最終的にそれをAI・ロボティクスの発展つながっていく」と語ります。
深層生成モデルによる映像と音楽の復元
次に体験したのが、ソニーが開発するAIの一つである深層生成モデル。一度学習させればコンテンツの生成だけでなく復元などにも活用できるこの技術は、特に映画や音楽などの創作活動などへの活用が期待されています。
深層生成モデルにはさまざまな種類があり、近年注目されている一つが「拡散モデル」。これは物理法則に基づく方程式を利用した、高品質な生成をもたらすモデルの学習方法で、ランダムなノイズを徐々に変換していき、最終的に鮮明な画像を新たに生成するというものです。
さらに、より大きいサイズのコンテンツに対して生成モデルを効率よく学習させるためには、対象データの圧縮が重要になってきます。しかし、従来の学習スキームは不安定であることが知られており、良い圧縮器を得るために何度も学習を試す必要があります。そこで、一度で学習が済むように、安定して圧縮器を学習する方法として、ソニーではStochastically Quantized Variational Autoencoder (SQ-VAE)を開発しました。このモデルを用いた、テキスト入力によって存在していない画像を生成するデモが紹介されました。
従来、一般的な機械学習では元のデータと破損したデータの両方を大量に用意してモデルを学習させる必要がありました。しかし、今回紹介されていた深層生成モデルを用いることで、欠損していない一方のデータについてのみ学習させるだけで、全く違う欠損データを復元することができます。
また、画像だけでなく、音楽の分野でも深層生成モデルによるデータの復元が可能です。
展示ブースでは、ヘッドホンで音源を聞くデモが行われており、ボーカルのリバーブ成分や録音時に入り込んだ雑音が除去された、本来の音源と遜色ないクリアになった音を聴くことができました。
深層生成モデルのようなAI技術は、多くのコンテンツが生み出されるゲーム、音楽、映画業界においてクリエイターをサポートするテクノロジーとして、重要度が増すと考えられています。今後は、よりハイクオリティなコンテンツ制作でも活用できるよう、さらなる技術の追求が期待されます。
3.フィジカルに還元する
大画面かつ高画質な３次元ディスプレイ
コロナ禍を迎える前から研究が進められていた3次元ディスプレイ。大画面かつ高画質な特徴を生かし、テレコミュニケーションおよび遠隔操作向けの技術開発も行われています。オンラインでのコミュニケーションは今やスタンダードになりましたが、3次元ディスプレイによるデモ体験では、話し相手が立体的に映り、パンフレットを手元で見せるなど実際に対面で話しているのと遜色ない臨場感を感じることができました。参加者からは「3Dの表現力がすごい。本当に握手ができそう。現実と区別がつかない、ちょっと緊張するレベル」などの声も挙がっていました。
独自開発した3次元高画質化と低遅延伝送技術により、離れた場所の自然な映像をリアルタイムに専用の眼鏡などを装着せずに体験することが可能です。オンラインを余儀なくされている状況であっても、例えば住宅ローンのコンサルティングや高いお買い物の商品確認や説明といった、対面でのコミュニケーションが求められるシーンで活用できそうです。まさに実際の対面が難しい状況でも、リアルな対面の体験を実現できる技術です。
共同出展していたソニー銀行では、すでに、2022年より、大型2Dディスプレイを用いたテレプレゼンスシステム「窓」（https://moneykit.net/visitor/plaza/plaza003.html）をソニーストアの一部店舗へ導入しています。今後は、今回展示した3次元ディスプレイの導入も目指していくといいます。
外部ゲストを迎えた特別講演も実施
技術展示に加えて、オンラインカンファレンスを2日間実施。外部の有識者を迎え、テクノロジーの未来について議論しました。
初日は、カンファレンスの幕開けとなる「Opening Remarks」から。ソニーグループ専務 兼 CTOの北野宏明が、研究開発に対する自身の想いや姿勢、そしてどのような方向性でこれからのR＆D活動に取り組んでいくべきかを語りました。続く「AI for social impact: Results from deployments for public health」では、Milind Tambe氏を招き、AIが社会的課題の解決にいかに貢献できるか、課題解決に企業はどう向き合うべきかを議論。さらに、ソニーグループのトップエンジニアたちが集い、グループの強みである3D-3R技術について意見を交わしました。
2日目には、2つの特別講演を公開。Pascale Fung氏（香港科技大学）、Natasha Crampton氏（マイクロソフト）を招き、AI Ethicsの今と未来について議論した「AI Ethics: Latest challenges and future prospects」。さらに、「テクノロジーを用いたコンテンツ制作の最前線」をテーマでは、ソニーグループにおける映像制作やコンテンツ制作技術の活用について、最新事例が紹介されました。
多様な視点が交わる場に
社外展示エリアには、招待制で、メディア、投資家・アナリスト、企業のパートナー、研究者、エンジニア、クリエイター、大学生・高校生など、さまざまな社外のステークホルダーの皆様も来場しました。そこでは、STEFのコンセプト通りの「多様なテクノロジーを互いに共有し、意見を交わす」ことが行われていました。参加者と技術開発担当者たちとの間では、技術に関する活発的な意見交換が行われるとともに、ソニーの開発環境や体制に関するフィードバックを得る機会にもなりました。
また、クリエイターや学生たちからは、ソニーの技術を実際に見て、社員との会話を通じてソニーの新しい一面に触れたことで「新しいデバイスやソフトウェアの技術的な紹介と、それを使ってコンテンツを作る場合の具体的なユースケースを⽰す形で展⽰されており、⾮常にわかりやすかった」「ソニーで実際に行われている開発をこの目で見られて､自分の興味関心を深めることができた」といったコメントが寄せられました。
また、会期中には、映画『ワイルド・スピード』シリーズやテレビドラマシリーズ『S.W.A.T.』や、ソニー・ピクチャーズ エンタテインメントが実写映画化を進めている人気漫画『ワンパンマン』などの監督を務めるジャスティン・リン氏も来場。社外公開エリアの展示を体験された後、北野CTOとのディスカッションを行いました。
STEF 2022特設サイト公開中です。出展技術のより詳細な情報や、5つのカンファレンスの動画なども掲載しておりますのでぜひご覧ください。
