Cutting Edge
“リアルとバーチャルをつなぐ音楽ライブ体験”が変える
ファンとアーティスト、そしてコンテンツとの距離感
2021年5月31日
新型コロナ禍において加速しているオンラインでのライブ配信。しかし、無観客ライブをそのまま配信する“だけ”の取り組みはリアルな体験に遠く及ばないこともわかってきた。そこでソニーは、グループ横断でXRのエンタテインメントに取り組む「Project Lindbergh」の一端として、リアルとバーチャルを、アーティストとファンをVR技術で繋ぐ全く新しい体験作りに挑戦。この取り組みの“現在”と“これから”について、その開発をリードしてきた今村 隆と、UI / UXおよびインタラクション開発を担当した高橋 一真が語る。
-
今村 隆
株式会社ソニー・インタラクティブエンタテインメント
グローバルR&D東京部門 VR推進室
（兼）ソニーグループ株式会社
事業開発プラットフォーム
新規事業化推進部門
事業化推進部 -
高橋 一真
ソニーグループ株式会社
ブランドデザインプラットフォーム
クリエイティブセンター
スタジオ２
ソニーが目指す新しいVR音楽ライブのかたち
──“リアルとバーチャルをつなぐ音楽ライブ体験”とはどういったものなのでしょうか？
今村：VR技術を使って音楽ライブを体験するという技術を模索しているのはソニーだけではなく、すでにいくつかのサービスがスタートしています。多くの事例はライブ会場にVRカメラを置いて配信し、ご自宅のヘッドマウントディスプレイを通じて一人で視聴するスタイルになります。しかしながら実際のライブ会場で起こっていることはアーティストのパフォーマンスだけではありません。周りのファンの躍動であったり、アーティストとのコールアンドレスポンスだったり、物販のような購買行動であったりします。これらの体験が抜け落ちているとバーチャルの体験はリアルに比べどこまでも劣化したものになってしまします。私たちはこれらリアルの体験価値をバーチャルに翻訳、移植しつつ、さらにバーチャルならではの体験を加えることで新しい価値を提案しています。
“リアルとバーチャルをつなぐ音楽ライブ体験”デモのようす
■ロビーの様子
ライブ前にロビーで仲間と集合し、ライブへの期待を語り合ったり、ステージに持ち込むペンライトなどのライブグッズを選んで使い方を試したりできる。
■ステージの様子
ライブ中も仲間とつながり、掛け声や歓声が共有される。拍手やライブグッズを使ったアクションでアーティストにアピールすることも。また、自分の仲間たち以外にもファンがたくさんいるのが見える。
■ライブ中
ライブ中はただ映像が流れるだけでなく、映像と連動して客席が動いたり、熱心なアピールをしているファンにアーティストからお返しのハートが飛んでくるなどといったインタラクションが発生。ステージを盛り上げる。
■ライブ後
ライブ後は再びロビーに戻り、余韻を楽しみながら仲間と感想を語り合える。デモでは配布されるライブ中の写真を手に取って楽しむこともできた（写真背面にアーティストからのサイン、メッセージが隠されているというサプライズも）。
──この取り組みが始まった時期、背景を聞かせてください。
今村：私たちもライブ会場のVR配信というものに取り組んでおり、2019年12月にはPlayStation®VR向けの配信に成功（https://cocotame.jp/series/008960/）、その後も画質改善のためにVR撮影技術の継続的進化にも取り組んでいます。またライブで重要な音の面でも、米国のLumiere Awards 2020を受賞した『Survive Said The Prophet VR EXPERIENCE』のようにライブ会場の音の届け方という課題に対して様々なチャレンジを行ってきました。しかし、ライブが好きな方々に聞くと、音とか映像だけではない、“一体感”や“共感”のようなものも大事だと言うんですね。それを技術で実現するにはどうすればいいのだろうと考え始めたのが今回の取り組みを始めたきっかけです。
高橋：そこから皆でいろいろ話し合い、ライブそのものに加え、ライブ前の仲間との会話や、ライブが終わった後の余韻も含めた熱量の循環みたいなものがライブの肝となる楽しさだということに気がつきました。「すごく高画質です」「アーティストの近くに寄れます」「カメラアングルを自由に変えられます」というのもVRライブの魅力だと思うのですが、やっぱりそれだけじゃ物足りないよね、と。
今村：既存のリモートライブ的なものも、この新型コロナ禍においては貴重な体験だったと思います。でも、自宅のリビングから小さなスマートフォンの画面で見始めて、ライブが終わったら即終了みたいな、前後の余韻がないものは少し寂しいですよね。
アーティストとファン、そしてファン同士を繋げる
──VR空間でこうしたライブ空間の空気感を再現するために意識したことはありますか？
今村：一番大切なのは没入感を剥がさないということです。何かをきっかけにユーザーが「なんでこんなことをしているんだろう」と冷静になってしまうのを避ける必要があります。そのための工夫として、今回は操作を単純で直観的なものに絞りこみました。過去の音楽系VRコンテンツにあったようなコントローラーのボタンを押すとペンライトを振るというものでなく、実際に手を叩く、親指を立てるなどといった、身体性を生かした操作にしています。これが思ったよりも効果的で、身体を動かすことで音楽にのっているような感覚になり、より楽しさを増す効果があることもわかりました。
高橋：お見せしたデモでは、あらかじめ撮影されたライブ映像が流れており、アーティスト側から返ってくるリアクションはこちらで用意した仮想的なものなのですが、実際に体験してみると、それでも充分にアーティストが返事をしてくれたという感覚を味わえるんですよね。一生懸命応援しているのに隣の人にお返しが行ってしまったみたいなことがあると、よし、もっとアピールしてやろうって気持ちになります（笑）。そういうアーティストとファンの、あるいはファン同士の相互関係はすごく大事にしたところですね。
──たしかに同じ空間に仲間がいて、その声や動きを感じながら一緒にライブを楽しめるというのは新鮮な体験でした。
今村：その仲間、グループ内のコミュニケーションをきちんと制御するというのも大切なところです。現状、この仕組みでは最大28人のユーザーが同時にライブに参加できるのですが、ボイスチャットで親密にコミュニケーションできるのはあえて4人までにしていて、それ以外の参加者はノンバーバル（非言語）なコミュニケーション、声は聞こえず、拍手しているとかペンライトを振っていることがわかるくらいに制限しています。
高橋：仲間との密接なコミュニケーションはしっかり確保しつつ、その回りにいる他のファンの人たちも皆、本物に感じられるということはこだわったところですね。自分以外のファンが自動でペンライトを振るだけのCG、ロボットではないことも、ライブへの没入感を高める一助になっていると思います。
今村：あと、参加者の座席配置については、全ての参加者がスクリーンと正対する一番良いポジションでライブを楽しめるようにしています。これはVRだからできること。ファンはもちろん、アーティストらコンテンツを作る側の方々にとっても自分たちの見せたいものを100%伝えられるという意味で喜ばれると思っています。なお、その上で、グループ内の相対位置は維持するようにしており、仲間に対して手を振るなどといったコミュニケーションに矛盾が起きないよう工夫しています。
幅広くソニーの力を結集させて技術進化を促す
──こうした体験の実現にはProject Lindberghでの取り組みがどう生かされていますか？
今村：私たちが過去3年取り組んできたProject Lindberghは全社横断型のプロジェクトなので、撮影技術、映像、音声技術などの専門家と常に議論しながら進めています。今回の体験構築に関してもインタラクション技術チームの先行プロトタイプなどを参考にしながら進めていました。
高橋：横断型のプロジェクトはこれまでもさまざまなものがありましたが、アーティストやエンタテインメント畑の人たちとここまでリンクできたのは貴重な体験でした。私たちの技術のメンバーが作りあげたプロトタイプをエンタメの専門家である彼らに見てもらい、ダメ出し、提案を受けるかたちで、切磋琢磨して新しい体験を作り上げています。
今村：具体的には、まずは様々なバックグラウンドのメンバーとのブレストを通じながら、VRならではのライブの体験とは何かということを抽象化しました。それを高橋をはじめとしたクリエイティブセンターのチームが絵コンテに落とし込んで具体化し、具体化されたものに対してメンバーからコメントをもらってコンセプトがずれていないか確認します。この際、技術チームのメンバーが簡単なプロトタイプを作ってコンセプト検証することもあります。こうした作業を繰り返し、今の体験を作り上げることができました。
私たちはどうしても技術から発想しがちなところがありますが、ソニーミュージックのメンバーからはアーティスト視点や興行視点からのコメントももらえるので非常に勉強になります。このような濃い議論の場が3年間くらい続いており、そのエッセンスが今回のデモにも込められていると思います。
今後の課題は迅速で適切なフィードバック
──この一連の取り組みで、技術的に苦労したことを教えてください。
高橋：私の担当したデザイン方面では表現のところでしょうか。これまでもテレビなどに表示される2Dでのビジュアルデザインはたくさんやってきていて、かなりのノウハウが蓄積されているのですが、VRの、自由に動ける3D空間ではその常識が全く通じないことが多々あるんです。たとえば映像のこのあたりにキラキラしたパーティクルを飛ばしてくださいという、2Dだったら何でもないような指示が、VR空間に入るとイメージ通りうまく見えないといったようなことが起こったりします。これをどう解決していくかも新鮮な体験の1つでした。
──今後の技術的な課題にはどのようなものがありますか？
高橋：アーティストのパフォーマンスを、技術やデザインの力でいかに引き出していくかには、今後もチャレンジし続けていきたいです。バーチャルなライブ空間から応援してくれているファンの様子を、周囲に何もないグリーンバックの中にいるアーティストにどのように具体的に伝えるか、すなわちデータビジュアライゼーションは我々の領域ですから。下手側にいるファンが懸命に手を振ってくれている、別のファンがペンライトでメッセージを宙に描いている、そういったことをどう見せていくかに、まさに今、取り組んでいます。
今村：アーティストからファンへのフィードバックの部分も、今回のデモでは映像の中央から決め打ちで出していましたけど、これをリアルなライブでやるのなら、センサーで顔の位置や手の動き、身体の動きを取って、そこから特徴的なエフェクトを出していくというやり方になるはず。そのあたりは、ソニーのセンサー技術やカメラ技術が活きてくるでしょう。今後も、リアルなライブではできない、リアルを超える体験を追求していきたいです。
そしてその上で低遅延ですね。現在の配信技術でこの規模のコンテンツを配信しようとするとどうしても片道20秒くらいの遅延が発生してしまいます。これは、アーティストとファンの間のコミュニケーションを考えると致命的な長さ。解決するには技術的に短くするだけでなく、ユーザー体験も含めた工夫を考えて行く必要がありそうです。ひょっとしたら劇場側に何か仕組みが必要になるかも知れませんが、そういったベニュー（会場）ビジネスはソニーミュージックグループが得意とするところでもあるので、必ずや「ならでは」の面白いものが作り出せると思っています。
音楽ライブだけに留まらない広がりにも期待
──“リアルとバーチャルをつなぐ音楽ライブ体験”の今後の展望についても聞かせください。
今村：今回のフォーマットは音楽ライブ以外のことにも転用できると思っています。教育であるとか、流行りの応援上映のようなかたちで映画を皆で観るとか、いろいろな使い方があり得るので、そうしたコミュニケーションを軸としたコンテンツと体験へ繫げていきたいです。
高橋：私はこの技術を使ってファンとアーティスト、コンテンツの距離をもっと縮められるのではないかと期待しています。今後も、実際に同じ空間と時間を共有して、一緒に体験できるものをもっと作っていきたいですね。特に重要なのが同じ時間を共有できること。一緒にすごした、二度と戻ってこない時間を共有できることが体験の要なのではないでしょうか。
今村：今回、私はやっとファンダメンタルにバーチャル空間で何かを楽しむ体験を作れたと思っています。ここからさまざまな技術をトッピングしていくことで、これまでになかった圧倒的な何かが生み出せる、そう確信しています。
──最後に、ソニーだからできること、生み出せることについて聞かせてください。
今村：ソニーがすごいのは一つのグループでなんでもやっていること。市ヶ谷や六本木のソニーミュージックに行けばエンタテインメント業界の人たちと話せるし、ソニーシティみなとみらいや厚木テクノロジーセンターに行けばカメラ、イメージセンサーなどのエンジニアが、大崎には音響のエンジニアやR&Dチームがいます。そういった人たちと議論をしながら、新しい試み、新しい体験を作り出していけるところは、よそにもマネができないところではないかといつも思っています。こういった、横にいる仲間たちを繋げながら何か新しい価値を生み出していくことに興味がある方には、ぜひソニーに来ていただきたいですね。
