ヒトとシステムの究極の調和をデザインする
「見る」「話す」「体を動かす」などの人が実世界で行う自然な行為を入力にして、直感的・感覚的に理解できる形で人に出力を返す、Natural User Interfaceの技術群の開発を行っています。例えば、出力技術の1つであり、ゲームなどでの応用が進むハプティクス技術（触覚提示技術）では、人の感覚特性に基づいた高精細でダイナミックな力触覚提示や他の感覚との統合により、圧倒的なリアリティ表現と多彩な没入体験を実現します。また、出力に関わる音生成や匂い提示、ユーザ入力に関わる視線UIや音声UIなどの技術開発を通じて、人と機器との界面における新しい体験価値を創出します。さらに、このような五感に関わる技術を活用して、身体の不自由な人にも使いやすい操作体験を提供する「アクセシビリティ技術」にも注力しています。
人の動きをリアルタイムに捉えることでインタラクティブなアバタ制御やコンテンツ提示が実現できます。そこで私たちは小型、省電力、安価な慣性（加速度、ジャイロ）センサをベースに、センサフュージョンやディープラーニングを応用することで、ユーザやクリエータの誰もが使いやすいモーションセンシング技術の開発を目指しています。具体的には、歩行者の移動を正確に捉える自己位置推定、全身の動きを少数のセンサで捉えるモーションキャプチャなどの研究開発に取り組んでいます。これらの技術はソニーのエンタテインメント領域をはじめ様々なビジネスに展開していきます。
人に近づき、人を理解するバイタルセンシング技術・情動推定技術の研究開発を行っています。デバイス開発と信号処理により人のバイタル情報を取得するセンシング技術と、機械学習および生理心理学・脳科学の知見に基づく情動推定技術を組み合わせることで、エンタテインメントコンテンツの評価・制作へのフィードバックやユーザーのリアルタイムな情動の変化を基にした的確なパーソナライズド・サービスを提供する技術を開発しています。
遠隔の観客をつなぎ、スポーツ観戦や音楽ライブにおいて、遠隔の観客同士が、距離を超えて一体感や熱狂感を感じることができるリモート観戦アシストシステムを開発しています。観客の動きや心理状態をリアルタイムにセンシングすることにより、人間の目では正確に把握しにくい集中や興味の度合いを数値化します。
集中や興味の度合いを 遠隔の観客の気配を感じられるような映像、音響によって表現したり、インタラクティブな介入を行うことで、会場や遠隔地にいる観客との臨場感、一体感、熱狂感を共有できる体験を提供します。
「実世界の音」と「仮想世界の音」を重ね、音の力で世界を拡張する聴覚でのAR体験の実現を探求しています。この技術は、Sound AR™というソニーの新しい音響体験で活用され始めています。本技術には3つの特長があります。1つ目は、実世界のユーザーの位置や行動をリアルタイムにセンシングするための、ヒューマンセンシング技術。２つ目は、センシング結果に基づいてリアルタイムかつインタラクティブな音を生成するための、ゲームで培われたサウンドエンジン技術。３つ目は、生成された音を３次元空間へ重畳するための360立体音響技術です。これらのソニーのテクノロジーを、人の知覚特性に合わせたインタラクション技術として統合することで、自然で臨場感のある音のAR体験を実現しています。また、視覚に障がいのある方が音で空間を知覚することができるような、アクセシビリティへの応用にも取り組んでいます。
テレプレゼンスシステム「窓」を通じた“あたかも同じ空間にいるような”自然なコミュニケーションの実現に向けて、私たちは「臨場感」と「気配」という二つの要素を大切にしています。「臨場感」についてはソニーの強みである映像や音響のクオリティを追究し、もう一つの「気配」については、そもそも人間がどのように人や空間を認識しているのかという認知心理学の知見を応用しています。例えば、既存のテレビ会議のように相手の顔や発言、資料など“中心視野”の情報のみを扱うのではなく、「窓」では縦型大画面による等身大の相手や“周辺視野”に映る空間の奥行き、常時・双方向の高音質技術によって会話だけでなく相手の存在感や環境音を伝えること等によって本当に同じ空間にいるような感覚が生まれます。
近年、パーソナルデータサービスやリモート化の普及に伴い、情報の不正利用や漏洩のリスクが益々高まっていて、高いセキュリティとユーザビリティの両方を備えた認証技術が期待されています。そこで私たちは、身に付けられるほどの小ささでありながら高精度を実現する生体認証デバイスの開発と、なりすまし防止を含む高度な生体認証機能を汎用センサで実現する技術の研究開発に取り組んでいます。また従来の身体的特徴による認証手段に加えて、ユーザーの認証行為を必要としない歩容や位置・行動の習慣性などの行動特徴による個人同定技術を組み合わせた新しい個人認証の開発も行っています。シームレスに実世界とデジタル世界を繋ぐ次世代のデジタルアイデンティティを実現します。
