ソニーのキャラクター
対話AI技術

「AI対話技術」×
「キャラクター」

クリエイターが命を吹き込んだ
キャラクターと
自由に
コミュニケーションできる
ソニーのキャラクター対話AI技術

キャラクター対話AI技術

「憧れのキャラクターと自由に話したい」
「自分でオリジナルのAIキャラクターを作ってみたい」
「AIキャラクターを使って様々なサービスを提供したい」
ソニーグループR&Dセンターでは、そんな夢を実現するための「キャラクター対話AI技術」を研究開発しています。よりリアルにキャラクターと触れ合うためには、言語の意味理解や生成を行う自然言語処理技術だけではなく、音声認識・音声合成といった音声信号処理技術や、画像認識・グラフィック表現のような画像処理技術など、様々な要素技術が必要になります。
クリエイターの発想を現実に変える技術と、ソニーグループの持つエンタテインメントの力を合わせることで、ワクワクする体験を届けることがキャラクター対話AI技術開発の目的です。その一環として、公開実証実験やアプリケーション開発を通じて「キャラクター対話AI技術」を用いた新たな価値を提案しています。

キャラクター対話AI技術の利用イメージ キャラクター対話AI技術の利用イメージ

ソニーの対話制御技術

AIキャラクターを実現するために、シナリオベースの対話と機械学習による対話を組み合わせることで、シナリオライターが表現したい幅広い対話を実現します。まず、シナリオベースの対話によって、専属のライターがキャラクターの個性を際立たせるエモーショナルな対話を実現します。さらに、より広い話題でも会話ができるように、機械学習によりキャラクターの特徴を損なわずに幅広い対話に対応します。

機械学習による対話

小規模なAIキャラクターを作るのであればシナリオベースでの対話制御で十分対応が可能ですが、本技術では、口語主体の多様な言い回しや話題に対応するため、深層学習(DNN)を用いた応答をミックスしています。独自に収集した大規模な対話データを学習したモデルをベースに、表現したいキャラクターのセリフを追加して学習することによって、キャラクターの個性を反映した対話を効率的に生成することができます。

ユーザーとの会話を記憶するAI

我々はAIキャラクターとユーザーのコミュニケーションを活性化するために「相互理解」が重要であると考えています。そのため相互理解のアプローチとして、ユーザーの趣味嗜好や生活様式に関する情報(ユーザーモデル)を記憶し、対話に応用する機能を備えています。本技術では、このユーザーモデル対話の仕組みをキャラクターとの会話に活用しています。

ユーザーモデル対話の仕組みの説明図 ユーザーモデル対話の仕組みの説明図

「キャラクター対話AI技術」の
事業導入事例

AIエンタテインメントサービス
「束縛彼氏」
公式サイト

束縛彼氏のキャラクター「新藤 暁」
「束縛彼氏」の画面イメージ 「束縛彼氏」の画面イメージ
※画面は開発中のもので、製品版と異なる場合があります。©Sony Music Solutions Inc. All rights reserved.

対話型キャラクターエージェント「CHELULU」
公式サイト

©Sony Music Solutions Inc. All rights reserved.

CHELULUのキャラクター「沢村 碧」
「CHELULU」は顔認証によって一人ひとりの顔を記憶し、相手に合わせてコミュニケーションをとることが可能

「キャラクター対話AI技術」に
関連する公開実験

ソードアート・オンライン
- エクスクロニクル -
AI対話実験企画「比嘉くんのつくろう
AI!育てよう性格!」

動画を再生 動画を再生

動画の内容テキスト

来場者の「その人らしさ」を反映させたAIと作中のキャラクター「アリス」 が対話している様子をご覧いただける動画です。
©2020川原 礫/KADOKAWA/SAO-P Project
©BANDAI NAMCO Entertainment Inc.
株式会社バンダイナムコエンターテインメントより発売中の家庭用ゲーム『SWORD ART ONLINE Alicization Lycoris』のCGモデルを使用しています。

来場者の皆様の発話をWebで事前に投稿していただき「その人らしさ」を反映したAIを作成しました。イベント期間中はソードアート・オンラインの世界観に合わせて、その来場者のAIと作中のキャラクター「アリス」が対話している様子を展示しました。来場者が投稿していない内容についても「その人らしく」話すAIをご覧いただき、まるで作品世界に入り込んだような感覚を味わえる体験につながりました。

22/7(ナナブンノニジュウニ)
“ナナニジライブ”
定期公演サプライズ企画「藤間桜ちゃんが来場者をお出迎え!」

動画を再生 動画を再生

動画の内容テキスト

来場者と藤間桜ちゃんが対話をするシステムのデモ対話をご覧いただける動画です。
©22/7 PROJECT 藤間桜(22/7)CV:天城サリー

定期公演や物販にお越しいただいた来場者の皆様に対して、藤間桜ちゃんから「来てくれてありがとう!」などと呼びかけるデモを展示しました。来場者が桜ちゃんの呼びかけにこたえると、その内容に基づいて桜ちゃんとの対話が続くというサプライズ企画でお出迎えしました。

2023年7月24日 Update