映画、ゲーム、音楽などのコンテンツのオーディオフォーマットは多チャンネルが当たり前となっており、近年は、音源に位置情報を付加したオブジェクトオーディオを取り入れた新しいサービスや製品も登場しています。こうした潮流の中で、高精度に音場を再現する立体音響技術は、より没入感のある音響体験を実現するだけではなく、サウンドコンテンツを制作するクリエイターの制作環境を発展させるという観点でも、ニーズが高まると考えられます。
360 VMEは、ソニーグループでの映画事業などを展開する、ソニー・ピクチャーズ エンタテインメント（以下SPE）の映画制作のワークフローで、実際に活用され始めている音響再現技術です。SPEでは、以前からサウンドミキシングルームの不足が課題となっていました。こうした課題への解決策として、場所の制約を受けず、サウンド制作スタジオと同じクオリティで音を仮想的に聴くことができる仕組みが求められる中、R&Dセンターで開発していた立体音響技術が着目されました。以来、R&DセンターとSPEとの連携によりプロフェッショナル向けの立体音響技術として開発を進めています。プロのサウンドクリエイターからも認められるクオリティを実現する360 VMEは、今後、音に関わる様々なコンテンツ制作のワークフローの進化につながる可能性を秘めた技術です。
ヘッドホンを使って立体的な音場を再現する際に用いられるのがバイノーラルプロセッシング。360 VMEの実現にあたって、キーとなったのはバイノーラルプロセッシングにおいて音源に付加するHRTF情報をリスナー一人ひとりに最適化する技術です。この個人最適化を極めるため、HRTFデータの計測からヘッドホンでの信号処理・再生まで、一気通貫で技術開発を行うことで、「映画制作のプロも活用可能な高精度での音場再現」を実現しています。
人は、音が左右の耳に届くまでの時間差や音量差に基づいて音源の位置を認識しています。同じ音源を視聴している場合でも、実際に聞こえる音は個人の耳の形状などに大きく影響を受けます。こうした、音源から両耳までの音の変化特性を表しているのが、HRTFです。この特性を利用すると、サウンド制作スタジオの様に複数のスピーカーを配置した空間の音場を、ヘッドホンで再現することが可能になります。
以前より、より没入感のある音場を実現する立体音響技術の開発において、スピーカーが真正面の中央にある時の音の再現が課題となっていました。リスナーの左右にある音源の場合、耳に音が到達するまでの時間差や音量差が大きく異なりますが、正面の音源はその差がほぼなく、個人の耳の形状の影響度が相対的に大きくなります。より高精度で音場を再現するために、私たちは、バイノーラルプロセッシングに用いるHRTF情報の個人最適化に着目しました。
さらに、その個人最適化技術を実用レベルにまで高めるため、360 VMEの開発では、SPEと深く連携をしながら、マイクや測定ツールから、測定データを再生用信号に変換するための信号処理技術、再生用の専用プロトタイプヘッドホンに至るまで、効果に関わるすべてを技術やデバイスを一気通貫で独自に開発しました。自社が持つ幅広いアセットを巧みに組み合わせ、新しいUXを創造できる点は、ソニーならではの強みです。
例えばSPEとの連携では、制作工程に合わせて「反響や部屋の大きさの感じ方を調整したい」、あるいは「巨大で複雑な映画のサウンド制作プロジェクトとの接続を簡単にしたい」など、サウンドクリエイターの細やかなフィードバックを受け、それに対応する事により制作現場で使ってもらえるレベルを実現できました。
また、再生用の専用プロトタイプヘッドホンでは、信号処理後の音を両耳に安定して届けることが求められます。装着ずれが起こりにくいメカ構造、安定した特性を得るためのドライバーの取り付け位置や傾きの導入などが必要で、ソニーのヘッドホン設計エンジニアとの共同開発が必要不可欠でした。360 VMEの場合は、プロジェクト自体のゴーサインが出る前段階から、開発メンバーが率先的にヘッドホン設計のエンジニアに声をかけ、早い段階から協力体制を築いてきました。このように、別の部署とでもスムーズに連携が取れるところも、ソニーの強みであり、ユニークな点です。
コロナ以前からいくつかのSPE作品のサウンド制作に、360 VMEを使ったテストが開始されることが決まっていました。しかし、コロナ禍の影響でアメリカはロックダウン状態に。そのため、当初の想定ではミキシングルーム不足を一時的に補うための技術だった利用目的をリモート環境下におけるサウンド制作ツールに切り替え、映画の制作現場への導入に取り組んでいます。コロナ禍にあってスタジオが使えなくなるなか、Tom McCarthy (EVP, Post Production Facilities, Sony Pictures Entertainment) や制作者たちが360 VMEを「ゲームチェンジャー」であり「ライフセーバー」と形容してくれたことは最大の評価であり、プロフェッショナルに認められた証です。
360 VMEでは、映画向けサウンド制作にかかわるクリエイターと対話を重ねることとグループのノウハウや技術アセットを活用することで、そのクオリティを突き詰め、最終的にプロフェッショナルのサウンドクリエイターも感動するようなハイクオリティの技術にまで磨き上げることができました。
今後、この技術を音に関わる様々な制作シーンに展開していくことを想定したときに、コンテンツ制作の事業を有し、クリエイターと直接コミュニケーションをとれることは、ソニーならではの強みだと思っています。映画と、ゲームや音楽では、同じ音の制作であっても、それぞれで制作環境やワークフロー、手法が異なります。ゲームや音楽では映画サウンド制作とはまた違ったかたちで活用される可能性もあり、制作者とのコミュニケーションのもと、技術を最適化していく必要がある、またそれぞれのコンテンツに合わせて技術の精度を高めていきたいと考えています。
コンシューマの人たちに喜んでもらえるのはもちろん嬉しいです。ただ、360 VMEではプロフェッショナルの制作者が本当に困っている状況で『助かった』と言ってもらえたことは、とても印象に残っています。今後は我々のような研究開発者にも、サウンドデザインなどのコンテンツ制作が理解できるアーティスティックな視点も必要とされると感じています。
先進的な技術を研究開発するだけでなく、プロフェッショナルの要望にもしっかり応えていくことは容易ではありません。ただ、クリエイターからの細かな意見はとても刺激的で、課題をクリアして現場での評価を得られた時に、やりがいや達成感を実感します。
コンテンツ制作現場からのフィードバックは、必ずしもエンジニアが理解しやすい定量的なものばかりとは限りません。これに対して日々、頭を悩ませながらも、クリエイターの思いやクリエイティビティに寄り添い開発を進めるため、さまざまなコミュニケーションを取りながら改善していくプロセスも、意外と面白いと感じています。
ソニーでは困った時に知らない人でも社内連絡帳からアプローチすればフレキシブルに対応してくれる風通しの良い組織なので、自分の夢や希望を実現できるチャンスはたくさんあります。あとは本人の熱意次第。仕事では、自分の興味があることを納得いくまで突き詰めるのが、ソニーのR&Dセンターの良さだと感じています。
