Cutting Edge
Voice 02
映像制作の現場に革新をもたらす
「バーチャルプロダクション」の可能性
2022年7月4日
プロフィール
-
山崎 晴康
ソニーPCL株式会社
技術部門 アドバンスドプロダクション１部
リアルタイム性に優れた
ソニーのバーチャルプロダクション
ソニーグループの技術に関する組織横断活動「コンテンツ技術戦略コミッティ」で、コンテンツ制作における新しい技術の有効性を検証する活動から生まれた『KILIAN’S GAME』プロジェクト。日米の両拠点で２つの制作チームが撮影を実施しました。日本側を担当したソニーPCLは、2020年にバーチャルプロダクションスタジオを自社内に設置し、検証活動をスタート。2021年には東宝スタジオ（東京都世田谷区）にスタジオの場所を移し、バーチャルプロダクションの検証および事業活動を進めてきました。そこで得られた知見や成果を踏まえ、2022年2月に開設したソニーPCLの新クリエイティブ拠点「清澄白河BASE」内に、常設のバーチャルプロダクションスタジオを設置し事業を開始しました。
今回のプロジェクトでは、「清澄白河BASE」内のバーチャルプロダクションスタジオで撮影を実施。コンテンツ制作における有効性を検証しました。ソニーPCLのスタッフが15人、協力会社も含めると30人のスタッフが撮影に携わり、私は、日本側の制作ユニットのプロデューサーを務めました。
バーチャルプロダクションのキーとなる技術は、大型のLEDディスプレイと、そこに映し出す3DCGの背景をカメラ位置情報と連動してリアルタイム表示する機能になります。 LED ディスプレイは、ソニーがバーチャルプロダクション向けに開発した1.58mmのピッチ幅で高精細・高輝度・高コントラスト・広色域のCrystal LED B-seriesを採用。低反射処理により照明の写り込みが少なく、背景の表示に最適のディスプレイです。インカメラVFXは、撮影用カメラに位置情報を正確にキャプチャーするカメラトラッキングシステムを付加しています。
Crystal LEDを用いたインカメラVFXの仕組み
まず、立体的な背景データを3DCGで作成し、CG背景画をCrystal LEDに表示。表示された背景画と、その前で実際に演技する演者とを一緒にカメラで撮影します。カメラの位置や角度はカメラトラッキングシステムの赤外線センサーが計測し、その計測情報をもとに、Unreal Engine（Epic Games社のゲームエンジン）がCGをリアルタイムにレンダリングすることで、カメラワークに応じて背景の見え方や奥行きが変化して、あたかも実際のロケ地で撮影しているような臨場感のある映像表現を実現します。これによりカメラの中で背景と手前にいる演者が合成された最終映像をその場でリアルタイムに確認することが可能です。
ソニーのバーチャルプロダクションの特長は、まさにこのリアルタイム性にあります。一般的なシステムだと、カメラの動きに対して、背景の動きにディレイ（遅れ）が生じ、背景と手前のリアル空間の認識がずれて違和感が生じます。
しかし、ソニーPCLで運用するソニーのバーチャルプロダクションは、レイテンシー（反応時間）を数フレーム単位まで短くして、ディレイを抑えています。そのため、カメラマンがとったアングルにマッチした背景が即座に表示され、イメージに近い映像を撮影することができるのです。
技術の限界が
演出を制限してはいけない
日米合作の『KILIAN’S GAME』は、離れたロケーションにいるチーム間が連携して撮影を進めました。
その中でもバーチャルプロダクションの活用においては、両チーム間の事前の確認、情報共有が極めて重要になりました。バーチャルプロダクション特有の有効なアングル情報を、米国にいるリアルセットの撮影スタッフに事前に共有することで、双方の撮影映像にずれが生じないようにする必要がありました。そこで、日本側ではバーチャルプロダクションで撮影する各シーンの撮影プランを綿密に検討。どの位置にカメラを設置し、どのように撮影するかを図で示し、事前に情報共有を図りました。この段階のすり合わせがその後の制作進行に大きく影響するため、日米両チームで毎週のようにオンラインミーティングを重ねました。
実際の撮影プラン
実際の制作にあたって、「技術的な限界が演出の制限にならないようにすること」——それが、私たちが意識した大切なテーマでした。監督が撮影したい映像を実現するためにバーチャルプロダクションを活用する、その姿勢は一貫していました。
例えば、監督から示された演出プランで、早朝の部屋のシーンがありました。実は、バーチャルプロダクションでは、暗いシーンの設定だと照明の当て方が難しい。非常にハードルが高いシチュエーションなのですが、それによって演出を変えたくはないので、撮影時の照明設計や、ポストワークでの処理など、さまざまな工夫で対応しました。
もう一つが炎の演出です。通常、スタジオの中で実際の火を使うのはもちろんご法度です。本プロジェクトでは、バーチャルプロダクションならではの背景CGの中で、炎を表現することも試みました。ただでさえ炎のCGは難易度が高いのですが、それを自然な形で表現するために、日本チームのCGデザイナーと、背景やセットを制作する米国チームが綿密に連携。米国で背景CGを制作したFuseFXのスタッフとテスト動作の状況をリモートで共有しながら、調整を繰り返すことで、リアルな炎のエフェクトを実現することができました。今回の取り組みを通じて得られた、特殊なエフェクト表現に対する知見はとても大きな資産になります。
一番のメリットは
クリエイターのリアルタイムなイメージ共有
映像制作にバーチャルプロダクションを活用することで得られるメリットとして、まず撮影場所の環境を遠隔地でも再現でき、時間の制約からの解放、スタッフや機材移動のコスト削減が期待できる点が挙げられるでしょう。また、先ほど触れた炎の演出や、崖の先などで撮影する危険なシチュエーションも、CGの背景によって安全な撮影環境が提供できるのも魅力です。さらに今回のプロジェクトの舞台となった洋館のような設定は、カメラアングルと背景が綿密に連携して動くことでリアル性が高まるため、遠方にあるロケセットの再現は非常に有効性が高いと言えます。
なかでも一番のメリットだと考えているのは、監督、カメラマン、演者といったクリエイターの方々が、その場で最終形のイメージを確認し共有できることではないかと考えています。例えば、ポストプロダクション工程（撮影後に行う作業）で背景CGを後から合成する場合、撮影はグリーンバックの前で行い、演者は見えない背景を想定しながら演技します。カメラマンも同様です。最終的なイメージは、背景処理を終えてから初めて確認することができます。リアルタイムに最終形の映像を確認できるバーチャルプロダクションは、制作者の認識、意識の共有性に優れ、より良いコンテンツ制作に貢献できる手法と言えます。
実際の撮影でも、綿密なプリプロ（撮影前までの準備）によって、リアルなロサンゼルスの洋館の空間が正確に再現され、監督、カメラマン、演者全員がイメージを共有できました。特に、日本ユニットのリーダーのイメージテーマは日本の文化がもとになっていたので、日本で日本人が撮影しなければ再現できないものでしたから、日米でのリモート制作によりそのテイストが十分に反映された映像になったと思います。
従来の映像制作スタイルに革新を
制作に携わったクリエイターからは、「他のシステムよりもカメラ連動のレイテンシーが低く、イメージ通りに背景が動くのでアングルが狙いやすい」といったコメントをいただきました。また、Crystal LEDについても、ピッチが細かいのでカメラがLEDに寄ることができ、さまざまなアングルでの撮影ができることを高く評価されています。
バーチャルプロダクションは3DCG技術と捉えられがちですが、むしろその本質は撮影技術だと考えています。スタジオの照明設備や背景と連動した照明のコントロールなども含めて、一から試行錯誤を繰り返して築き上げた大きなチャレンジであり、今もスタジオ設計は進化を続けています。
バーチャルプロダクションの手法が映像業界に浸透しつつある手応えは感じていますが、完全に取り入れられるまでのハードルはまだあると思います。最も高いハードルは、映像の制作スタイルが大きく変わることです。従来、映像制作は予算の配分やスケジュールの引き方など、確立された考え方があります。バーチャルプロダクションの導入は、プリプロが非常に重要になるので、その日程や費用が占めるウェイトが大きくなることをいかに納得していただき、従来の制作スタイルに変革をどう促していくかが重要です。
プリプロの準備をきちんと行うことで、全体の日程や費用がスリム化され、その分のコストをよりクリエイティブ性を追求することに用いることで作品のクオリティ向上につなげることができます。
「コンテンツ技術戦略コミッティ」では次のアクションとして、『KILIAN’S GAME』をきっかけにグループ内から寄せられた技術提案の可能性を探っており、その中でも、3DCGによる背景制作フローの簡略化に取り組んでいきたいと考えています。この挑戦も、映像業界へのバーチャルプロダクション普及の上で極めて重要だと考えています。
先端技術であるバーチャルプロダクションはこれから飛躍的に進化を遂げていきます。ソニーグループはその可能性をさまざまな形で追求していきます。
Message：山崎 晴康
ソニーPCLが今まで培ってきたバーチャルプロダクション技術とコンテンツ制作での知見をさらに追及しつつ、AR（拡張現実）やAI技術などの先端テクノロジーを融合させることで、他にないユニークなコンテンツ制作ソリューションに進化させたいと考えています。そういったチャレンジができるチャンスがあるのがソニーだと思います。バーチャルプロダクションをはじめ新しい技術をクリエイティブワークに提供し、創造性を活性化させることに大きなやりがいを感じています。
そして、昇華させた映像制作技術で、映画やミュージックビデオ、CMやハイブリッドイベントなど、さまざまなコンテンツ制作シーンに革新をもたらしていきたいですね。
