朝霧のかかる深い森に囲まれた美しい湖畔で、白鳥のように舞うバレエダンサーたちが優雅なシンクロを見せる本作。動画を見た方は、広大な自然の中で伝統的な舞台芸術をどのように演じたのか、と思われるかもしれません。実は全編を「清澄白河BASE」内に設置されたバーチャルプロダクションスタジオで撮影しています。

バーチャルプロダクション（VP）は、大型のLEDディスプレイに「仮想空間」を映し出し、その前にいる「被写体」と一緒に撮影することで、リアルタイムで仮想と現実を合成した映像を制作する手法です。「リアルとバーチャルの境界をつなぎ、いかに自然な映像に見せるか（菅野）」を追求するために、ソニーの最新技術が多く活用されています。

ソニーの最先端技術×伝統的な舞台作品『白鳥の湖』

本作品の監督を務めた大賀 英資は、『白鳥の湖』というバレエを題材に選んだ理由について「ブロードウェイなどの舞台で最新技術が活用されている事例から着想を得た」と説明します。
「誰もが知っている伝統的な舞台作品に、バーチャルプロダクションやボリュメトリックキャプチャなどの映像撮影技術を使うと、どのように生まれ変わるのか、『清澄白河BASE』が持つ映像制作の技術力を発信するために挑戦しました。」（大賀）

演出の端々で、映像技術を組み込む工夫がこらされています。たとえば、霧の切れ間から一人のダンサーにカメラがズームしていく幻影的なシーン（上の写真）。「画面いっぱいに立ち込める朝霧を抜ける瞬間に、ボリュメトリックキャプチャで撮影し、3次元データ化したCGのダンサーから、LEDディスプレイの前で踊る本物のダンサーに切り替えることで自然な映像表現をめざしました」と大賀は明かします。

ボリュメトリックキャプチャは、スタジオの天井や壁に設置された100台以上のカメラで被写体を撮影し、その映像を3次元のデジタルデータに変換することで、さまざまな方向から見た3DのCG映像として高画質に再現できる技術。カメラが存在しない視点まで自由自在に映像化できるのが特長です。

このシーンの撮影にあたって、「舞台にはない奥行きを演出するため、できるだけカメラワークを大きくしたい」と考えていたという大賀。一方で、カメラの動きが大きいと、LEDディスプレイのサイズでは背景映像が見切れてしまいます。そこで、ボリュメトリックキャプチャで取り込んだダンサーのCG映像を差し込むことで自然な映像表現を実現しました。

「清澄白河BASE」にあるVPスタジオ（左）とボリュメトリックキャプチャスタジオ（右）。2022年にVPスタジオの隣にボリュメトリックキャプチャスタジオを開設。2023年にはVPのLEDウォールを拡張するなど、スタジオ機能を継続的に進化

「清澄白河BASE」は「VPスタジオとボリュメトリックキャプチャスタジオが同じフロアに隣接している珍しいスタジオ」（菅野）。その利点が『白鳥の湖』の撮影にも生かされています。

新技術「ライブキーイング」の開発、きっかけはアーティストからの声

VPとボリュメトリックキャプチャに加えて、新しく取り入れたのが、コンサートのライブ演出などで使われるソニー独自の技術「ライブキーイング」です。その場にいる被写体の人物を映像データとしてリアルタイムで抽出し、撮影や舞台の背景に設置されたLEDディスプレイに瞬時に映し出すことができます。

一般的な映像処理技術では、背景の映像が激しく変化したり、被写体の人物が大きく動いたりする状況で、人物の輪郭を正確に抽出する映像処理は難しいとされていました。それをソニーの特殊なセンサーを搭載することで実現したのがライブキーイングです。
「特に背景のCG映像が鮮やかに変化するVPとの相性は非常に良い」と、開発者である菅野 尚子は強調します。

この技術が生まれたきっかけは、菅野がアーティストからもらったリクエストでした。コンサートの技術サポートのため現場に同行し、その場でアーティストやスタッフからフィードバックやリクエストを多く受けるという菅野。「このライブキーイングも、リハーサル中にアーティストから『こんなことできない?』と何気ない一言を聞いたのが始まりでした。」

『白鳥の湖』の映像制作にこの技術を取り入れた背景には、「もっと多くの音楽ライブでこの技術を活用してもらい、さらに、VPとの活用事例も増やしていきたい」という菅野の思いがありました。

制作現場のコミュニケーションにおける新たな糸口

映像制作の現場では、撮影に関わる全てのスタッフが、監督が思い描く映像イメージを共有する必要があります。

今回VPを活用したことで、演出のイメージをダンサーと撮影現場でリアルタイムに共有できた、と大賀は言います。「通常、CGを使った映像の撮影にはグリーンバックを使います。しかし背景映像が映し出されるLEDディスプレイがあれば、役者はどんな場面なのか視覚的に掴みやすく、演じる役に入り込みやすい環境を提供できます。」
大賀は、今回出演したダンサーからも「良いパフォーマンスにつながった」というフィードバックがあったと振り返ります。

また、CGを取り入れた撮影の難しさのひとつとしてよく挙げられるのは「照明の調整」です。映像の編集工程では、リアルに撮影した映像とCG映像の光の角度や明度などの加減を合わせて、自然な描写にする必要があります。しかし、撮影現場の担当者が必ずしもCGに精通しているわけではないため、リアル映像とCGの「光の調整」に多くの時間が費やされるという課題があります。

大賀は「ダンサーの照明の当たり方を変えた場合でも、ライブキーイングを活用すれば、その場でリアルタイムに、ダンサーの映像を背景のLEDディスプレイに投影できます。そのため、CGの後処理の工数が軽減され、とても効率的でした」と語ります。

クリエイターに近づき、彼らの想いを形にできる場所「清澄白河BASE」

こうした最先端技術によって撮影のハードルが軽減された一方、その自由度の高さに圧倒された、と大賀は振り返りました。「現場では技術開発者と議論しながら撮影に挑めたので、思い描くイメージの演出のために技術をうまく活用することができました。まさにソニーだからできる取り組みでした」と熱く語ります。

一方、菅野は「今後も現場に足を運び、直接クリエイターの声を聞き、クリエイションに貢献する技術を提供できるように取り組んでいきたい」と、技術者としての意気込みを口にします。

今後の活動について、大賀は「普段から社外のクリエイターと映像制作に取り組んでいる知見を生かし、ソニーの技術者とともに『清澄白河BASE』でより良いソリューションを生み出していきたい」と期待を語りました。