Cutting Edge
映画クオリティのボリュメトリックへの挑戦
バーチャルプロダクション
2019年11月18日
空間再現技術を映画制作に生かす
複数のカメラで撮影した映像から3DCGを作成し、そのデータからまるでその場で撮影しているかのような映像を再構成するボリュメトリックキャプチャ（Volumetric Capture）技術。現在、ソニーのR&Dセンターとソニー・ピクチャーズ エンタテインメント、そしてバーチャルプロダクション専門スタジオのソニーイノベーションスタジオが協働して、映画制作に活用できる高品質な映像制作に取り組んでいます。
プロフィール
-
田中 潤一
ソニー株式会社
R&Dセンター
Tokyo Laboratory 09 -
加治 洋祐
ソニー・ピクチャーズ
エンタテインメント
ソニーイノベーションスタジオ
技術を高め合い今までにない映像表現を目指す
──ソニーのR&Dセンターと、ソニー・ピクチャーズ エンタテインメント、ソニーイノベーションスタジオはどのように連携しているのでしょうか。
田中：ソニーイノベーションスタジオは米国カルバーシティのソニー・ピクチャーズ エンタテインメントの敷地内に2018年に設立された、ボリュメトリックキャプチャ技術などを活用したバーチャルプロダクションを行う専門スタジオです。ソニー・ピクチャーズ エンタテインメントの映像制作チームはソニーイノベーションスタジオができる前から、すでに私たちR&Dセンターのボリュメトリックキャプチャ技術に興味を持っていました。2018年6月のスタジオ開所式では、ソニー・ピクチャーズ エンタテインメントと共同で開発したリアルタイムのボリュメトリックキャプチャシステムを披露しました。
──開所式ではどのような演出を？
田中：事前に撮影したプレゼンターの映像をその場にいるプレゼンターと組み合わせて、同じ人物が二人いるように見せるリアルタイムのデモンストレーションです。招待者からは、先端技術によるリアルな映像表現に驚きの声があがりました。
ソニーイノベーションスタジオ開所式でのボリュメトリックキャプチャデモの様子（音声なし）
──その後もソニーとソニーイノベーションスタジオの協力関係は続いているそうですね。
田中：ソニーイノベーションスタジオの開所式後、私たちR＆Dセンターは日本の音楽シーンにボリュメトリックキャプチャ技術を導入することを推進し、またソニーイノベーションスタジオはさらなる高画質をめざして、ボリュメトリックキャプチャリングの技術を互いに高め合ってきました。最近では、ソニーイノベーションスタジオが独自技術で作成した空間に、ボリュメトリックキャプチャ技術によって撮影した人物を合成するという試みを始めています。ソニーイノベーションスタジオが作り出す空間は、あたかもそこで撮影したとしか思えないような高品位な映像なので、私たちが撮影した映像では画質が不十分だと予想されました。そこでさらなる高画質を実現するために、現場であるソニーイノベーションスタジオに優秀なエンジニアに行ってもらい、実際のプロダクションを経験してもらうことで、クリエイターに寄り添ったかたちでの技術協力をしていきたいと考えています。
よりリアルに、より簡単に映画制作における実用化に向けて
──協働していく上で、ソニーの強みが発揮される場面はどういったところでしょうか。
加治：われわれのボリュメトリックキャプチャ技術の強みは、実際にはカメラが存在しない視点の映像を、3Dコンピュータービジョンを使って作り出すレンダリング技術です。実写映像から3次元データを作成すると、いくら精巧に作ったとしてもどうしても実際とは異なる形状になってしまいます。また、そこに色をつけるとどこかCGっぽい不自然な映像にもなってしまいます。そこで、撮影した映像を余すことなく利用し、従来のカメラで撮影したような自然な映像を作り出すソニー独自のフォトリアリスティックレンダリング技術を導入しました。まだまだ本当の意味でのカメラ映像までは到達できていませんが、日々技術開発を続け、映画に使えるクオリティまで向上させていくつもりです。
──映像の編集作業においても、工夫されている点があるそうですね。
加治：撮影した映像を3次元モデルに自動で再構成するための技術に取り組んでいます。ハイレベルな3次元モデルをつくり出すには、高精度のキャリブレーション（校正）とアラインメント（位置合わせ）が重要です。R＆Dセンターでは、リアルタイム性を重視してこのプロセスの自動化に成功しました。編集にかかる手間や時間を大幅に削減することができます。ソニーイノベーションスタジオで行われる映画制作の工程には、芸術性のために時間をかけ手作業で行う場面が数多くあります。一方で、バーチャルプロダクションには一般的な映像制作以上に大量の撮影データが必要で、結果、編集に膨大な処理と時間がかかってしまいます。この編集工程にソニーの自動化技術がうまく導入できれば、ソニーイノベーションスタジオの制作効率向上に一役買えるのではないかと考えています。
（左）ソニー独自のレンダリング技術による3次元モデル ／（右）カメラで撮ったような映像を生成
新しい映像体験をもっと身近なものに
──今後の展開や可能性についてお聞かせください。
田中：バーチャルプロダクションは、その場にいなくても、あたかもそこで撮影したかのような映像をつくりだすことができます。この技術を応用すれば、遠く離れた人でも、近くに感じられるような体験がいつでも実現できるようになると考えています。技術をもっと身近なものにし、お客様に直接この体験をお届けすることがわれわれの最終目標です。新型コロナウイルスの影響もあり、ますますバーチャルプロダクションの重要性は増していると考えます。R&Dの技術を引き続き、最大限に投入し、ソニーイノベーションスタジオと一緒に新しい映像制作環境を立ち上げていくことで、映画業界に貢献していくつもりです。
加治：ソニーイノベーションスタジオは、映画の映像クオリティに達するボリュメトリックキャプチャ技術を追求する上で最適な環境です。これからも、実際の制作現場でさまざまな関係者と協力し合いながら、さらなる高画質化の実現に尽力していきます。また、この活動が新しい体験を創造するきっかけにもなると信じています。
