Cutting Edge
エコシステムを形成し、臨場感豊かな音場をより多くのお客さまへ
「360 Reality Audio（サンロクマル・リアリティオーディオ）」
2020年11月4日
まるで目の前で生演奏をされているかのような、没入感のある立体的な音場を再現する360 Reality Audio。ソニーの知見を結集して実現したこの新しい音楽体験は、昨年秋の提供開始以来、有名アーティストとのコラボレーションも成功させ存在感を高めています。この感動を世界中の人々に届けるため、現在はエコシステムの構築を進めています。
-
福田 和巳
ソニー株式会社
R&Dセンター
Tokyo Laboratory 20 -
海野 由紀子
ソニーホームエンタテインメント＆
サウンドプロダクツ株式会社
V&S事業本部 商品技術2部 -
富岡 万紀
ソニーホームエンタテインメント＆
サウンドプロダクツ株式会社
V&S事業本部 事業開発部
-
マーク・ワイルダー
ソニー・ミュージック
エンタテインメント
バッテリースタジオ
サウンドエンジニア -
マイク・ピアセンティーニ
ソニー・ミュージック
エンタテインメント
バッテリースタジオ
サウンドエンジニア
立体的な音場で生み出す、生演奏の臨場感
──360 Reality Audioとはどのようなものでしょうか。
富岡：360 Reality Audioはソニーのオブジェクトベースの空間音響技術を用いて、臨場感豊かな音場を実現する新たな音楽体験です。対応コンテンツの制作から配信、再生にいたるまでの技術提供を通じて、開かれたエコシステムの形成を進めています。具体的には、コンテンツ制作時に、ボーカルやコーラス、楽器などの音源一つひとつに位置情報をつけ、球状の空間に配置します。そして、ソニー独自の空間音響技術によって、音に包まれるような、臨場感溢れる体験をお客さまに届けます。より多くの方々に、この新しいエンタテインメントを手軽に楽しんでもらうため、対応コンテンツの制作・配信・再生の技術をクリエイターやアーティストの皆さまに広く提案しています。2019年秋のサービス開始以降、欧米・アジアにて複数のストリーミングサービスから、さまざまなジャンルの対応楽曲が配信されています。
──立体的な音場を提供する音楽体験が既に存在する中で、360 Reality Audioの特長はどういったところでしょうか。
海野：大きく3つの特長があります。1つ目は、制作から配信までオブジェクトベースであるため、再生機器側のさまざまなリスニングスタイルに対応しており、高品位な音場再現ができることです。ここでいうオベジェクトベースとは、音の素材とメタデータを配信して、受信機側で好みや音響システムに合わせて音声信号を生成する方式であることを指します。2つ目は、コンテンツの制作工程でクリエイターやアーティストが、ボーカル、コーラス、楽器などの音源に自由に位置情報をつけて球状の空間に配置できます。3つ目は、これが最も大きな特長なのですが、スマートフォンで撮影した耳の写真から個人の聴感特性を解析することで、個人に合わせて音響特性を最適化し、ヘッドホン再生でも本来の360 Reality Audioの音の体験を楽しむことができるということです。他にも、国際標準のMPEG-H 3D Audioに準拠しているため、広く音楽業界でお使いいただける点、音楽配信サービスに適したフォーマットで、スマートフォン等を通じたモバイル配信でのストリーミングが可能である点も特長としてあげられます。
──個人の聴感特性の解析、最適化とは、どのような技術でしょうか。
福田：まるでアーティストと同じ空間にいるかのような立体的な音場を再現するには、聴いている方の聴感特性に最適化した状態で再生することがとても重要です。音は鼓膜に届くまでに、床や壁の他、自身の体でも反射・回折され、特性が変化します。この聴感特性は、音源と耳の位置関係によって異なっており、人はその違いを無意識に感じ取ることで音の聞こえる方向を判断しています。360 Reality Audioでは、この聴覚の特徴を利用することで、あたかもヘッドホンの外側から音が聞こえているような感覚をつくり出し、立体的な音場を再現しています。ところがこの特性の変化は、頭や耳の形状によって人それぞれ異なるので、より深い没入感・臨場感のためには、一人ひとりに最適化させる必要があるのです。私たちは、頭や耳の形状と聴感特性の関係など独自に収集したデータベースを元に、機械学習によって耳の写真から聴感特性を推定する、個人最適化アルゴリズムを開発しました。360 Reality Audioでは、ソニーが独自に開発したスマートフォンアプリ「Sony | Headphones Connect」で、ユーザーに自身の耳の写真を撮影してもらいます。推定アルゴリズムによって聴感特性をクラウド上で解析することで、お客様一人ひとりに最適化された音場を気軽に体験できるようになっています。
メーカーに関わらず、どのヘッドホンと組み合わせても360 Reality Audio対応コンテンツをお楽しみいただけるが、ソニー製の推奨ヘッドホンで個人最適化することで、より没入感のある音楽体験が可能に。写真は推奨ヘッドホンの一つで、業界最高クラス※ノイズキャンセリングヘッドホン『WH-1000XM4』
※2020年4月21日時点、ソニー調べ。JEITA基準に則る。ノイズキャンセリングヘッドホン市場において。
──開発やサービスローンチにあたって、特に苦労されたことはなんでしょうか。
海野：個⼈最適化聴感特性がより⾼精度になるよう、改善に取り組みました。特にソニー独⾃技術である「ユーザーの⽿の写真から個⼈の聴感特性を推定する」技術ですが、かねてから社内にあった画像処理技術、AI技術、空間⾳響の理論、⼈間の⽿に関するデータベースを組み合わせて実現したものです。⽿の外形の写真から⽿の特徴量を抽出して聴感特性推定モデルを作るという発想は、ソニーだからできるという⾃負がありました。しかし具現化にあたり、データベースの⾒直しや、⽿写真をユーザーにどう撮って頂くかという動線の構築などが必要になり、ローンチレベルまで作り込む段階で最初の苦労がありました。また、当初なかなか⾳質や定位感の精度が上がらず、個⼈最適化の優位性を⽴証するのに苦労しました。そこで処理フローを⼀から⾒直し、精度に影響がある処理ブロックを特定。その処理ブロックに対するアルゴリズムの改善を集中して⾏うことで、⾳質や定位感の改善を達成しました。被験者として何度も評価に協⼒してくださった⽅々に感謝しています。無事、より没⼊感ある⾳を実現しローンチに繋げることができました。さらに、⽇本国内での評価だけでなく、海外での評価実験にも重点を置きました。実際に360 Reality Audioを体験できるリスニングルームを設置し、⼀般の被験者に対する⾳質評価を何度も実施しました。新しい⾳楽体験に対してどのような評価がされるかと緊張しましたが、ステレオ⾳源と⽐べて、個⼈最適化した360 Reality Audio⾳源の⽅が「⾳に包まれて広がりを感じる」「ライブコンサートのような臨場感を感じる」など、⾳質に対する評価が非常に良好であることを確認し、⾃信をもってローンチを迎えています。
聴感特性を最適化することで、まるでその場で演奏を聴いているかのような臨場感を体験できる
富岡：立ち上げまでには、やはり新規ビジネスの厳しさがありました。とりわけ専用コンテンツを制作してくれるレーベルやアーティスト、ミキシングエンジニアといったパートナーや、コンテンツを配信してくれる音楽配信サービス会社とはタフな交渉となりました。ソニーが自信を持ってお届けする360 Reality Audioの価値を理解いただくために、海外にも足を運び、とにかく多くの方々に対して新しい音楽を体験いただくことを重視しました。この音楽体験は必ず業界活性にもつながると信じていましたし、その価値を理解いただければ、パートナーの輪が広がると思って取り組みました。実際、空間オーディオに対して否定的だった方からも、デモ体験後には非常にポジティブなフィードバックをいただくことができ、デモをきっかけに協議が進むことが多かったです。
音楽業界を巻き込んでコンテンツ制作を推進
──360 Reality Audioでは、対応コンテンツの制作にも力を入れています。なぜ技術開発だけではなくコンテンツにも注力されているのでしょうか。
富岡：高品質で魅力的なコンテンツを幅広く制作することが、立体音響を身近に楽しめる新たなエコシステムを形成する上で重要なキーとなるからです。サービスローンチに向けて、ソニーR&Dセンター、ソニーホームエンタテインメント＆サウンドプロダクツ、そして音楽スタジオのエンジニアが密に連携し、コンテンツ制作を推進しました。
──360 Reality Audio向けのコンテンツを制作する際に、皆さんはどのように連携されたのでしょうか。具体的なワークフローについてお聞かせください。
福田：R&Dセンターでは、360 Reality Audioの制作ツールを開発し、各レーベルの制作スタジオに提供しています。制作ツールではエンジニアが楽器やボーカルを空間上に自由に配置でき、搭載された空間音響技術によりスピーカーだけでなく簡単にヘッドホンでも定位を確認しながら楽曲を制作できるよう工夫しました。
富岡：事業開発部としては、ソニー・ミュージックエンタテインメント（SME）、その他の提携スタジオに制作インフラを導入し、エンジニアがコンテンツを制作できるようトレーニングを実施。候補となるコンテンツについてもストリーミングサービスと協議を重ねた上で、レーベル側に働きかけ、制作を依頼しました。また、360 Reality Audioにリミックスした楽曲のアーティスト承認を進めるための専用アプリを開発し、提供しました。
海野：商品技術2部は、事業開発部やスタジオエンジニアと協力し、コンテンツ制作におけるTips集作成を行いました。具体的には、360 Reality Audioの特長である、定位感、広がり感、移動感をより効果的に表現するための音源制作手法を、実験と試聴を重ねながらまとめてきました。
ワイルダー：バッテリースタジオでは、制作ツールの仕様についてアイデアを提供しながら、レーベルやアーティストのコンテンツ制作をサポート。『One Sony』を体現するような、とても充実したプロセスだったと感じています。
世界中のお客さまに、感動の音楽体験を届ける
──今後の展開や可能性をお聞かせください。
富岡：去年10月にアメリカニューヨークでの360 Reality Audioローンチイベント以来、多くの業界関係者やお客様から期待や感動のお言葉を頂いており、360 Reality Audioは着実に存在感を高めつつあります。最近では、SME所属アーティストである、ザ・チェインスモーカーズやケーン・ブラウンなど、世界中で人気の高いアーティストたちの楽曲配信も実現しました。今後は、日本も含めて、各国においてパートナーシップを構築し、さらなる裾野の拡大をめざしていきます。
360 Reality Audio対応の楽曲を発表したケーン・ブラウン
海野：注目が高まる立体音響の分野においてこの新しい音楽体験を生み出すことができたのは、多様な知見を持つ人材が連携する、ソニーだからこそだと思います。ぜひ皆さまにも、この新たな臨場感あふれる音を体験し、感動して頂けたらと思います。これからもオーディオ分野の新たな技術開発に臆することなく挑戦していきたいと思います。
ピアセンティー二：地域や事業を越え、ソニーグループ一丸となって360 Reality Audioを世に送り出すことができたのは、大変喜ばしいことでした。
福田：激変する社会環境下でエンタテインメントのあり方が変わりつつある今こそ、世界中のお客さまに新しい音楽体験を提供し、感動を届けられるよう、あらゆる可能性を見出していきたいですね。
