R&Dメンバーを解き明かす
2020年入社
仕事内容：AIを活用したオーディオ技術の研究開発
専門分野：AI,インテリジェント音楽制作
（Intelligent Music Production）
なぜ今の研究分野に？
現在は、映画や音楽制作の現場で、ミキシングのアシストや自動処理ができるAIベースのソリューションの開発などを行っています。大変な工数がかかるポストプロダクション過程などでミキシング処理の負荷を軽減することで、クリエイターの負荷を軽減することが期待できます。AIや音楽制作技術の研究に取り組みはじめたのは、博士課程でのことです。学部生時代は工学を専攻していました。この学部生時代に身に付けた専門性が、現在の研究活動の基礎となっています。具体的には、電子工学を専攻していた時にオーディオ信号処理を学んだことが、音楽制作技術の世界との出会いにつながりました。すぐにこの分野の研究をしたいと思い、デジタル信号処理の修士号を取得し、音楽制作を学んだことで、技術と制作の両面から音楽にアプローチできるようになりました。そして、音を作り出し、変換し、届けるための技術の開発に貢献しようと思ったのです。
自分のルーツになったエピソードは？
私はいつも、音楽とエンジニアリングに情熱を持っています。特に、音とその即時性に対して強いこだわりがあります。美しく作られた音楽や自然の音でも、電車や機械から出るような人工的な音でも、音が私たちの知覚や意識に及ぼす力というものに、とにかく心惹かれるのです。これには、音楽好きでレコードコレクターだった父と、長年歌手をしていた兄がいる家族の下で育ったことが、影響していると思います。また、私が生まれ育った故郷の影響も大きいです。母国の「コロンビア」では、音楽とダンスが生活のあらゆる場面で文化として根付いています。私自身も10代でベースを習得して、数年間レゲエのバンドに参加していました。音響工学への関心が大きくなる一方、音楽一家に育ち、ボゴタの音楽シーンに触れる中で、音楽そのものに対する情熱もありました。そして、常に音楽や音に関わる仕事をしたいという思いが生まれ、さらに自分の得意分野である数学や問題解決力を生かした視点から、音楽や音に関わる分野で働きたいと考えていました。
ソニーを選んだ理由は？
工学と音楽制作の両方を学ぶ中で、音楽の制作・録音・配信に関わるすべてのツールがとても複雑だということに気づき、この分野に関する研究をしたいと思いました。特に音楽のミキシングは、勉強し始めたときにはとても難しいものだと感じ、もっと簡単にできる方法はないかと思いました。そのことがきっかけで、「インテリジェント音楽制作（Intelligent Music Production）」という新しい分野があることを知り、博士課程に進学して、音楽クリエイターが行う作業の負担を軽減するツールの研究を始めるに至りました。博士課程を修了したとき、自身が研究していた分野はまだ立ち上がったばかりで、さらに探求していかなければならない刺激的なテーマがあふれ返るほどにあることを知りました。ソニーのR&Dセンターは、研究活動を続けながら、関連性のあるプロジェクトをリードするという、私が自身の研究や関心を追求していくために、ベストな選択肢を示してくれました。ソニーも私も、クリエイターのための研究をめざしているので、会社と一緒に開拓できることがたくさんあると思っています。そのような機会を得られたことにとても感謝しています。
R&Dセンターのスゴイところは？
新技術の研究から開発、実装までのワークフローがあっという間に統合されていく過程は素晴らしいと思います。開発したプロトタイプが、世界中のさまざまなエンターテインメントスタジオやソニー製品に実装され、活用されていく様子を魅力的に感じます。また、ソニー・ミュージックエンタテインメントのミュージシャンやプロデューサー、ソニー・ピクチャーズ エンタテインメントの映画の音響デザイナーやミキサーなど、ソニーのさまざまなグループの専門家からフィードバックを得られるのも、他では経験できないことです。映画や音楽に関連するテーマを研究する上で、大いに役立っています。私は現在、映画制作に関するプロジェクトに、R&Dセンターのシュトゥットガルトラボと共同で取り組んでいます。これまで、音楽制作の領域の研究活動しか経験しかなかったので、これから新しい分野でも挑戦できることを楽しみにしています。
この先の目標は？
音楽や映画に応用されるAIなどのテクノロジーは、クリエイターとオーディエンスのライフスタイルを変える可能性があると確信しています。私たちの研究成果でも、AIが音楽のポストプロダクションのプロセスを学習して、プロレベルのミックス音源を生成できることが検証できています。これは、インテリジェント音楽制作の分野では大きな成果だと思っています。AIが人間には遠く及ばないのが当たり前だった従来の技術を進化させることで、AIが煩雑なタスクのサポートや自動処理をすることで、クリエイターが自身の創造力を発揮することに専念できるような未来を実現したいと思っています。
また、私はプロジェクトリーダーとして、チームにインターンに来た学生のサポートもしています。学生と直接コミュニケーションをとれることが、とても楽しみです。私自身も科学コミュニティで活動することが好きで、世界的に有名な学会で論文を発表したり、チュートリアルやワークショップに参画したりすることもあるので、これからは、多くの学生に自信の経験を伝え、研究者になるサポートをしていきたいです。
日々の研究活動で大切にしている言葉は？
1つ目は研究関連の引用で、私のまさい研究活動を表している言葉です。私は生の音声、いわゆる音声波形を直接扱う仕事をしていますが、このように他の表現やモダリティ情報を使わずに仕事をするということは、学びたいことはいつもすべて音声・音の中にある、ということなのです。もう1つの言葉は、言葉や知性を超えて、音で伝えられるものがあるということです。例えば、雨の音を聴いたとき、日本語、英語、スペイン語、どんな言語を話す人でも、言われなくても「雨だ」と分かります。知っている。それは、私たちの知覚の中に、言葉や知性によらず音から直接理解できるものがあるということでもあり、人生のさまざまな局面で響く、なかなか深い意味を持つ言葉だと思います。
