AIで音楽ビジネスを変える、
ソニーのグループシナジーに迫る。
新卒採用の説明会などで「ソニーのイメージは何ですか」と質問すると、「音楽」と答える人が増えてきました。しかし、ソニーでは音楽とテクノロジーとが結びついていることや、それによって新しいサービスや体験が生み出されていることはあまり知られていないかもしれません。「音楽の仕事に興味はあるけど、理系には関係ないよね」とか、「研究職に就きたいけど、ソニーのR&Dって結局エレクトロニクスだよね」と思っていませんか？
ソニーのR&Dは、グループ内の製品、サービス、コンテンツと結びつき新しい価値を生み出しており、音楽も例外ではありません。ソニーミュージックグループは音楽の制作やプロモーションを行う会社だと思っていたかも知れませんが、実は、ソニーの最新テクノロジーを活用してこれまでにない体験を生み出す会社でもあるのです。
2021年2月11日にオンラインで開催された「Sony Group Career Forum 2022」の特別講演で、ソニーのR&Dセンターおよび音楽領域の第一線で活躍している社員たちに、テクノロジーと音楽の掛け合わせによって生まれる新しいビジネスの可能性について語ってもらいました。今回は、その内容をご紹介します。
- 光藤 祐基
- ソニーグループ株式会社
R&Dセンター
Distinguished Engineer
- 岡 隆資
- 株式会社ソニー・ミュージックエンタテインメント
LINE MUSIC株式会社出向 - ソニー・ミュージックエンタテインメント入社後、CD営業、音楽宣伝、音楽制作、音楽配信などの部署を経て、2016年LINE MUSIC株式会社に出向
- 松崎 知子
- 株式会社ソニー・ミュージックソリューションズ
ビジネスクリエーションカンパニーエンタノベーションオフィス - 営業、企画、Webディレクター、マーケティング等の職種を経て、2019年より”エンタノベーションオフィス”にて、IP×テクノロジーを中心とした、新規事業開発・新規ソリューション創出に取り組む。
開発事例
音楽業界に響く最新テクノロジー。
■登壇者が開発・推進している技術とビジネスの事例
AIによる音源分離
たくさんの音が混ざり合った音源データから特定の音だけを取り出す技術。ソニーは音源分離にいち早くAIを利用した先駆者であり、国際的に権威のある音源分離のコンペで三回連続ベストスコアをマークしている。既に、古い名作映画の音声トラックをデジタルサラウンドにして商品化したり、動画撮影時の風雑音を消す機能としてXperia™に搭載されたり、次に紹介するLINE MUSICのサービスに採用されたりと実用化が進んでいる。通話音声から周囲の雑音を消すアプリは、コールセンター向けビジネスソリューションとして新たなビジネスも誕生させた。
講演内では、マルチトラックレコーダーがなかった時代に録音されたオーケストラ演奏からコーラス部分を分離するデモ映像や、古い映画の音声から会話、エンジン音、叫び声、馬の走る音などを分離するデモ映像が紹介された。
ソニーの音源分離技術は、音響イベント検出の国際コンペティションであるDCASE 2021 Task3で世界第一位を獲得しました。
Sound Event Localization and Detection with Directional Interference
LINE MUSIC カラオケ機能
アプリに組み込まれたソニーの音源分離技術により、配信された曲からボーカルだけを消す機能。スマートフォンの画面に表示された歌詞を見ながら、原曲の本物の演奏で歌うことができる。歌声は、内蔵マイクで拾って演奏とミックスして出力される。既存のカラオケサービスの曲数は約20万曲だが、この方法ではLINE MUSICで配信している楽曲ほぼ全てを楽しむことも可能になる。（一部非対応の楽曲あり）
※2021年5月時点での配信楽曲数：約7,400万曲
Soundmain
ブロックチェーン技術による権利情報処理システムによって実現した、クリエーター向けの音楽制作プラットフォーム。音楽制作の作業効率を向上させ、創作活動を支援。このサービスにも音源分離技術の活用を予定している。
Sony Music Studios Tokyo
優れた音響特性をもち、選び抜かれた最高の機材を揃えた世界水準のレコーディングスタジオ。ここでは音楽や映像が制作されているだけではなく、ソニーミュージックグループのエンジニアとスタジオエンジニアによって、音楽制作そのものを最新テクノロジーを使って向上させる取り組みが行われている。
不可能を可能にしたソニーの音源分離とは。
－音源分離の研究に携わる光藤さんに質問です。
ノイズキャンセリングはよく耳にしますが、音源分離と何が違うんですか？
いわゆるノイズキャンセリングとは、消したい音に効果的な逆位相の音をつくり、音を音で打ち消す技術です。音源分離はAIでデジタルデータを処理し、特定の音を消したり、取り出したりできます。簡単に言えば、実空間で消すかデジタル空間で消すかということですね。
－なるほど。ソニーのサウンドテクノロジーは、音源分離にも役立てられているのでしょうか？
そうですね。ソニーでは、音や音楽に対する研究開発にずっと取り組んできています。私たちには長年蓄積してきた「音とは何か」という専門的な知識やノウハウがあり、実はそれが音源分離に活用するAIの設計にとても役立っているんです。他にも、例えば「分離された音のクオリティを誰が評価するのか」という問題がありますが、私たちはソニーのスタジオで音のプロたちに聞いてもらいフィードバックを受けることができます。これも、音源分離の性能を高めていくための、ソニーの大きなアドバンテージとなっていますね。
－AIで処理ということですが、音源分離の処理にはどのくらいの時間がかかるんですか？
ソニーはいち早く音源分離のAIを開発し、その処理スピードを速くすることに長く取り組んできました。その結果、高音質に保ちつつ処理に時間がかからないことが特長となっています。たとえばLINE MUSICのカラオケは、数世代前のスマホでもリアルタイムに機能するように開発しています。実用化においては、AIをどこまでコンパクトにできるかがポイントですね。
－この技術は、カラオケ以外にも利用される予定はありますか？
様々なサービスやビジネスに利用してもらいたいですね。音源分離をしていると、それまで気付いていなかった音に気付いて驚くといったこともあります。可能性は非常に大きいと思います。
テクノロジーとともに進化する音楽ビジネス。
－さて、LINE MUSICカラオケ機能は、どのように開発が始まったのですか？
岡：音楽配信サービスは、いくつかのブランドがあり、他と差別化する必要があります。また、LINE MUSICのユーザーがカラオケのプレイリストを楽しんでいるという相性の良さを示すデータもありました。さらに以前から“原曲カラオケ”をやりたいという思いもあり、実現できる技術がないかをソニーミュージックのスタジオに相談に行ったところ、R&Dの光藤さんを紹介してくれたんです。すると、光藤さんから「すぐにできます！」と返事をいただきました。
－まさに連係が生まれた瞬間ですね。この開発を振り返って、困難だったことはありますか？
松崎：技術的にはスムースに進みました。大変だったのは、やはり権利の問題ですね。レコード会社は音源でビジネスしているので、各社に丁寧に説明してまわることが必要でした。将来的に権利をもっている人の利益に繋がるということをなんとかご理解いただき、実現にこぎつけました。LINEの台湾と韓国にも展開していますが、そちらは日本ほど大変ではなかったですね。
－他にも、ソニーミュージックグループとソニーのR&Dで、連係して開発しているものはありますか？
岡：まだ詳しくはお伝えできないですが既に別で進行中の開発案件もあります。現時点でのストリーミングは最終形ではないと考えており、新しい技術でストリーミングの仕組みや概念を変えることができないか、まさに相談しているところです。
－それは楽しみですね。今回の事例が特徴的だと思いますが、どのように研究開発からビジネスに繋げているんですか？
松崎：私から技術者にアイデアを話し、それを実現できる新しい技術はないかと相談することや、既存の技術に対してさらなる改良をリクエストするといったことがよくあります。こういうやりとりは、クリエーター側とエンジニア側の人がひとつのグループにいるからできることですね。グループ内なので、遠慮せずどんどん言えるというのは、他にはないソニーの良さだと思います。私の立場で意識していることは、サービスを人に届けたときにそれが本当に楽しいのか、面白いのか、みんなに感動してもらえるのかということを、いつも考えること。そして、自分自身が楽しいかどうかも大切なポイントです。自分が楽しくないと、楽しいものはつくれませんからね。
光藤：ビジネスに繋げる以上、ユーザー視点を忘れてはいけません。岡さんも松崎さんも、それをとても大切にされています。一方R&Dセンターでは、そのように考える方々に囲まれているお陰で、研究だけに集中することができます。私の立場では、目の前のビジネスチャンスを掴もうとするのではなく、たとえ何年かかっても技術レベルが高いものを生み出そうとすることを意識していますね。とにかく研究に専念して、技術を世界で認められるレベルにまで高める。そうすることで、製品やサービスとなって世に出すことができるようになります。
テクノロジーと音楽のこれからを語る。
－最後に、これからの音楽業界は、どのように変わっていくと思いますか？
岡：テクノロジーの進化に合わせて、レコードからCDやカセット、ネット配信と、音楽を聴くフォーマットは変わってきていますが、音楽業界では原盤を作ってそれを複製するというビジネスが続けられてきました。しかし音源分離のような新しい技術が生まれ、ユーザーが音源を使って遊んだりクリエイトしたりできるようになってきています。そういった形でユーザーが音楽に触れる機会が増え、それがまたレコード会社に戻ってくる。そんな、いいサイクルが生まれると良いと思っています。
－サービスを企画する立場では、音楽の楽しみ方をどう変えていきたいですか？
松崎：私はリアルなイベントやライブの仕事をやっていましたが、コロナ禍でそれができなくなり、ライブ配信などを進めてきました。そういうオンライン型の楽しみ方を、これからもっともっと膨張させたいと思っています。音楽に限らずコンテンツを楽しむ方法は、まだまだたくさん増やせます。新しいソリューション、テクノロジーを使って、新しいエンタメをつくっていきたいですね。
－光藤さんは、音源分離を活用して今後何にチャレンジしたいですか？
光藤：アーティストが表現したかったものを、技術の力で最大限に引き出したいという思いがあります。今日も、古い音楽と映画の音源分離デモをご覧いただきましたが、昔の作品をいまの技術で再構築することにこれからも取り組んでいきたいですね。つまり、制作者は本当はこう表現したかったけれど、昔は技術がなくてできなかった。そういった過去のアーティストの思いを、私たちの技術で叶えていきたいと考えています。
ソニーのR&Dセンターではただ単に技術を開発しているのではなく、それがビジネスやエンタテインメントにしっかり繋がっており、新しい体験を生み出し続けています。それができるのは、ソニーグループが多様な事業を展開しているからこそ。実際に、音楽や映画などのエンタテインメント領域以外にも、ソニーで研究開発された数多くの技術が、幅広い事業を通して人に届き、人々を感動させています。このことは、新たな技術を追求・開発したいと考えている方々にとって、大きなやりがいとなるのではないでしょうか。
