AIアシスト楽曲制作ツールFlow Machines
まだ誰も聞いたことのない音楽を
音楽においてクリエイターの創造性を拡張することを目指す、
ソニーコンピュータサイエンス研究所（ソニーCSL）のAI楽曲制作アシストプロジェクト Flow Machines。
このプロジェクトの社会実装に向けて、コンセプトの策定から、
AIアシスト楽曲制作ツール Flow Machines ProfessionalのUI（ユーザーインターフェース）デザイン、
さらにユーザー同士をつなげるコミュニティづくりまで、デザイナーが全方位で関わりました。
Flow MachinesからはじまるクリエイターとAIの共創が新たな音楽の地平を拓きます。
プロジェクトの道筋を
整理し、
目標を定める
「AIを使って、音楽クリエイターの創造性を高められないか」その思いから、ソニーCSLの研究者たちが機械学習や音楽解析技術を用い、AIによる自動作曲ツールを開発してきたFlow Machinesプロジェクト。そのツールの実用化に向けて、UI画面をつくり直してほしいという依頼を受け、デザイナーがまず行ったのが、このツールをクリエイターにとってどのような存在にするのか、プロジェクトの本質を明確にすることでした。
自らも音楽活動を行なっていたデザイナーは、自身の経験も踏まえながら、まずプロのミュージシャンにリサーチを行い「新しいサウンドを生み出し続けるため、たくさんのアイデアがほしい」「クリエイティビティを高めるため、違うジャンルのミュージシャンとセッションしたい」といった彼らのインサイトを把握。同時に、ソニーCSLのメンバーたちと「このツールはどういう存在であるべきか」話し合いを重ねました。
そのような話し合いのなか“Flow Machinesの機械学習モデルであるスタイルパレット※に、さまざまなジャンルのミュージシャンの技法を学習させ、各ジャンルに精通した多くのミュージシャンAIをつくりだし、創作のパートナーにする”とプロジェクトの道筋を整理。さらに、このAIはただ自動で作曲するものではなく、クリエイターと一緒に創作する存在であると定義し、「Co-write with A.I Musicians（ミュージシャンAIとコライトしよう）」というコンセプトを策定しました。このように目指すべきゴールを明確にしたうえで、当初の依頼であったAIアシスト楽曲制作ツールFlow Machines Professional（FM Pro）のUIデザインに取り組んでいったのです。
※ スタイルパレットとは、音楽データを解析する機械学習モデルで、FM Proには「POP」「ROCK」「HIP HOP」など100種類以上の音楽ジャンルを学習したスタイルパレットがプリセットされています。また、自分のメロディを学習させてオリジナルのスタイルパレットをつくることも可能です。
創造力を掻き立てる
作曲体験を
FM proは、さまざまなジャンルのスタイルパレットが、音楽クリエイターのサウンドの指向性に合わせて、メロディ・コード・ベースラインを作曲し、提案してくれるアプリ。そのFM Proの画面はユーザーが作曲で使うDAWソフトウェアの中で使えるようにプラグイン化されています。デザイナーはまず、ディスプレイ上の作曲スペースをできる限り侵さないように、FM Proの画面をダウンサイジングするとともに、DAWの画面に溶け込むようなデザインと色調でまとめていきました。
そして今回、最もこだわったのが「音楽クリエイターの感情を刺激し、創作意欲を高めるようなスタイルパレットの擬人化」でした。デザイナーは、AIをキャラクター化するような見慣れた手法ではなく、それぞれのスタイルパレットが持つ個性を今までにない手法で視覚化できないかと模索。そこでソニーCSLのリサーチャー アレクシー・アンドレの協力で、各スタイルパレット画面の背景に、そのAIの性質に合わせて自動生成されたビジュアルムービーを流し、その音が持つエネルギーや存在感をリアルタイムに表現することで、まるで新しい音の生命体と共創しているような作曲体験をつくり出しました。
さらに重要だと考えたのが、FM Proにプリセットされている膨大な数のスタイルパレットをユーザーにいかに紹介するのかということ。一般的なリスト表示ではなく、音楽クリエイターのインスピレーションを掻き立てるような見せ方はないだろうか。そんな思索を巡らし考えたのが、テンポや複雑度などを基準にして、それぞれのスタイルパレットを3次元空間にマッピングするという見せ方でした。これによって、音楽クリエイターがイメージに合わせて「この周辺の曲が気になる」と直感的に選びやすくなるとともに、例えば「この一つだけ離れている曲はどういうメロディだろう」と興味を掻き立てながら、聴いてみたくなるようにしています。
また、スタイルパレットの操作については、実際のミュージシャンとセッションしているような感覚を目指しました。当初はいくつものパラメーターを設定しなければならない仕様でしたが、ソニーCSLのメンバーの協力を得て、Composeボタンを押すだけですぐに曲を提案するように変更。また「3小節目のフレーズをもっと提案してほしい」というときも、3小節目部分を選択してComposeボタンを押すだけで、新たなフレーズをすぐに奏でるなど、目の前のバンドメンバーと即興で曲作りをしているようなユーザー体験を追求しています。
作曲のワークフロー
すべてを
支えるために
さらに、デザイナーはUIデザインという枠を超え、音楽クリエイターの曲作りのワークフロー全体に目を向けました。実は作曲のワークフローでは、FM Proが提案するメロディ・コード・ベースラインという工程の前に、ドラムの音色やリズムパターンを決めるトラックメイキングという工程があります。このトラックメイキングは曲全体の雰囲気を左右する重要な要素で、そこに悩み、多大な時間をかけているクリエイターが多く、それをアシストできないかと考えたのです。
そこでデザイナーは、ソニーCSLのパリ拠点で研究開発していた、さまざまなドラムの音色を生成する「Impact Drums」や、リズムパターンを自動生成する「DrumNet」「BassNet」という別のソフトウェアに注目。FM Proの画面と同じトーン&マナーでデザインを揃え、ブランディング化することをメンバーに提案しました。これらのUIデザインについても、AIらしい表現である探索空間をいかした円形上に、さまざまなドラムの音色やベースパターンを配置することで、色々なパターンを試しやすくし、作曲の効率化と創造性の最大化につなげています。
クリエイターとともに、
未知なる音楽の創出へ
また、ソニーCSLのメンバーたちから「Flow Machines のWEBサイトやプラットフォームも一緒に考えてくれないか」という相談を受け、デザイナーは音楽クリエイターの創造性をさらに拡張させるようなエコシステムを構想。クラウドサービスやSNSを活用し、FM Proユーザーが作品を投稿し、他のユーザーと出会い、刺激しあえるようにプラットフォーム全体を設計していきました。作曲という入口から、創作した曲を発信する出口まで用意することで、次世代のクリエイターたちが行き詰まり感を感じることなく、クリエイションに夢中になれるような環境を作っています。
FM Proはすでにリリースされ、現在多くの音楽クリエイターに使用されており、AIとの共創によってさまざまな曲が生まれています。しかし、リリースして終わりではありません。このプロジェクトが目指すのは、AIと共創する音楽クリエイターを増やし、誰も聞いたことがない音楽を生み出すこと。これからも、ユーザーの声に耳を済まし、ブラッシュアップを重ね、クリエイターの創造性を最大化するべく、プロジェクトを深化させていきます。
（写真左から）ソニーグループクリエイティブセンター：浅井 聡、伊藤 圭祐、坂田 純一郎、
ソニーコンピュータサイエンス研究所：岸 治彦