Initiatives
「Empower - クリエイターの創造力を解き放つ」
Sony Technology Day 開催レポート Vol.3
2019年12月6日
2019年9月18日に開催された“Sony Technology Day”では、「つなぐ」「解き放つ」「超える」の3つのテーマで技術展示を行いました。ここでは「解き放つ」のテーマ、拡張・融合技術でクリエイターの創造力を拡げる技術展示をご紹介します。
光を自由に操り、リアルに迫る
リアルタイムレイトレーシング技術
映り込みや反射などの“光線”を物理的に正しくシミュレートすることで、リアルタイムに写実的なCG映像を生成するレイトレーシング技術を紹介しました。
レイトレーシングは光源から発生する光の反射にともなう散乱を計算するための演算量が膨大になるため、多数のGPUを並列稼働させてリアルタイム処理を実現するシステムを開発しました。また、ディープラーニングを用いて素材ごとに異なる光の拡散と反射を推測することで、素材の色や質感をリアルタイムにレンダリングすることも可能にしました。本技術を活用することで、実写に近い映像のゲームなどを制作できるほか、映画製作の現場ではCG制作のクオリティー向上とコスト削減が期待できます。
撮影した人物を立体空間に登場させる6DoF映像技術
実写映像を立体空間に合成することで、自然な距離感と没入感を得られる映像コンテンツを制作する技術デモを行いました。
自然な距離感を得られる映像とは、人間の自然な動きと連動して、見えるものが変化する映像のことであり、本技術では6DoF（Degree of Freedom）視点を用いて実現しています。さらに、クロマキー合成のように特別な背景を用意しなくても、人物を抽出することができるディープラーニングを用いた独自技術を開発しました。今後は、より没入感を得られる自然な映像体験をめざして、新しい映像エンタテインメントを世の中に出していきたいと考えています。
人の動きを手軽に捉える軽装モーションキャプチャー技術
6つの小型軽量センサーを装着するだけで全身の動きをとらえる独自のモーションキャプチャー技術で、現実の動きを手軽に仮想空間に反映するデモを行いました。
本技術は、頭、腰、両手、両足の6箇所にセンサーを装着するだけで、それらのセンサーデータから全身の関節の位置姿勢が推定できます。ポイントはセンサーを装着していない肘や膝などの中間関節まで推定を可能にしたことです。デモでは、ユーザーの動作と同期したキャラクターを映像に合成する様子を紹介しました。
空間をまるごと撮りこむVolumetric Capture技術
実在の人物や場所を3次元デジタルデータに変換し、それを高画質に再現するVolumetric Captureと呼ばれる技術を紹介しました。
デモは、“人”と“場所”の2つを実施し、“人”の再現デモでは、ダンサーを Volumetric Capture 技術で撮りこみ、Volumetric Capture スタジオで3次元化した映像をお見せしました。 “場所”のデモでは、映画で使われた舞台セットを3次元に撮りこんだ実例を紹介しました。
この技術は とる，みる，おくる の3つのパートで構成されています。これら3領域の技術すべてが揃うことで、はじめて価値を実現できる、ソニーの強みを活かした技術領域です。
