ソニーの
ハプティクス技術

人間の五感に直接訴えかけられる
ハプティクス(触覚)を活用することで、
人の想像を現実にする未来を
実現したいと考えています。

動画を再生
動画を再生

動画の内容テキスト

ソニーのハプティクス技術の世界観を表現した動画です

ハプティクスとは

人間の五感 (視覚・聴覚・触覚・味覚・嗅覚)の1つである”触覚” に関する技術です。
R&Dセンターでは、ソニーの映像(視覚)や音響(聴覚)技術と同様に、人間の五感に直接訴えかけられる
この”触覚”を、身体で感じる新しい技術分野として研究開発を進めています。

「ハプティクス」の概念を表すイメージ図 「ハプティクス」の概念を表すイメージ図

技術開発アプローチ

振動覚、圧覚、力覚、温冷覚などの研究・開発を進めています。
高精細な表現や全身性を志向しながら多くのプロトタイプを実証実験し、
ユーザー評価や各事業体との協業も進めています。

Haptic Ball

リアリティ高いハプティクスへの
チャレンジ

動画を再生
動画を再生

動画の内容テキスト

タブレットを傾けると映像の中の球体(プラスチック製・金属製・ゴム製)が転がり、振動と連動することで、
それぞれの素材に応じた異なる触覚を体験できる、Haptic Ballのデモ動画です。

「どこまでリアリティの高い触覚表現が実現可能なのか?」「リアリティの高い触覚表現によりどんな新しい体験が実現できるのか?」これらの疑問を解き明かすために、広帯域かつダイナミックレンジの広い振動フィードバックの技術開発がスタートしました。

音と振動の性質が似ている点に着目し、ソニーの持つオーディオ技術を活用しながら検討を進め、振動データの記録・再生など、様々なデータの生成方法を試しながら再現性を一歩ずつ高めました。リアリティだけを追求するのではなく、バーチャルであるメリットを活かした表現によるUXの向上も検討しました。

これらの検討結果をプロトタイプの形でまとめたのがHaptic Ballです。Haptic Ballではプラスチックや金属、ゴムの質感をリアリティ高く再現することが可能です。シンプルでありながらも触覚により体験の感動価値を飛躍的に高められることを示しました。

Haptic Vest

究極の全身没入体験へのチャレンジ

触覚超解像技術

Haptic Vestを活用したプロモーションイベント

Haptic Vestは、目の前の映像世界があたかも現実であるかのように錯覚させる、体への振動フィードバックを実現するために開発しました。たとえば、敵キャラから攻撃を受けたり、爆風や水を浴びるといった現実世界ではなかなか体験することのできない感覚を、リアリティ高く再現することができます。

これらの実現を支えている要素のひとつに、触覚超解像技術があります。これは、たとえ振動デバイスの数が少なかったとしても、振動位置が連続的に移動していると錯覚させることができる技術で、自然な知覚表現を可能にしています。

Haptic Vestはこれまでにさまざまな場面で活用されています。たとえば、映画のプロモーションイベントでは、来場者にその映画の世界観を全身で没入体験するアトラクションを提供したり、VR音楽イベントでは、爆音を全身で浴びる感覚の体験を提供しています。

Haptic Floor

完全非装着なハプティクス体験の実現

恐竜の躍動感をリアルに表現した体験型イベント

「手ぶらで体験できる触覚提示デバイスは作れないだろうか」そのように体験者の負荷を低減させるために研究開発をスタートしたのが、Haptic Floorです。

これまで触覚提示をするには、身体への直接的な物理刺激が不可欠で、デバイスを手に持ったり、装着することが必要でした。そこで、デバイス自体を環境に埋め込んでしまおうというアイデアがうまれ、床自体を振動させて、体験者にはそのフロアに入場してもらうだけという方式にたどり着きました。

床からの振動フィードバックのみでありながら、これまで培ってきた信号処理技術とノウハウを駆使して、繊細で臨場感の高い感触を全身にとどけることを実現しています。Haptic Floorはこれまでに、巨大ディスプレイに投影された恐竜の躍動感をリアルに表現したり、映画プロモーションイベントでは映像と同じ世界を味わっているような臨場感を提供したりと、さまざまな場面で活用されています。

Active Slate

インタラクティブな床型ハプティクス

Sony Park Miniで開催した「パークラボ EXPT.01 床は人を旅に連れて行ってくれるのか?」

Haptic Floorにインタラクティブ性をもたせ、床が水たまりや砂浜に変わったかのように感じさせる技術も研究開発しています。人の足裏は、我々が想像していたよりも敏感にテクスチャの変化を感じとることができます。

人の歩行にあわせて多彩な振動フィードバックを実現するために、数少ないセンサーで微細な踏み込みの変化を検知する技術が搭載されており、まさに空間を超越したような体験が可能となっています。

Pneumatic Haptics

新しいハプティクスへの挑戦

Hiroshi Suzuki, Akihito Nishiike, Kentaro Yoshida, Masahiro Sato, Yota Komoriya, and Takayuki Ezaki. Haptic Reproduction by Pneumatic Control Method Based on Load-Displacement Profile. In Adjunct Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology (UIST '20 Adjunct).

新しい触覚技術への挑戦の1つとして、空気圧を用いた触覚提示手法の開発に取り組んでいます。空気圧を用いた提示技術では、一定の圧力を提示し続けることや、ゆっくりとした圧力の変化を提示することができ、さらに細かな振動感も提示することができます。シンプルかつ小型・軽量な構造で様々な触覚フィードバックを行える特長があり、応用技術として複数の気室を組み合わせた構造を用いて硬さ・柔らかさの違いを再現する手法の開発を進めています。

これらの手法によって、従来の技術では再現の難しかった様々な物体の感触や、動物が呼吸しているような、ゆったりとしたリズムの提示が可能となります。

R&Dセンターではデバイス開発から制御アルゴリズム開発、心理物理的な評価まで網羅的に開発を進めており、実用化に向けて様々な提示構造やデバイス形態での研究開発を進めています。

空気圧を用いた触覚提示手法の開発イメージ

Kentaro Yoshida, Hiroshi Suzuki, Hironobu Abe, Akira Ono Hiroto Kawaguchi, Masahiro Sato, Yota Komoriya, and Kazunobu Ohkuri. Pneumatic Concave Deformable Device and Finger Deformation-Based Evaluation for Hardness Perception. IEEE World Haptics Conference (WHC '21)

硬さ・柔らかさの違いを再現する手法の開発イメージ図

Weight-Shifting Controller

重心可変コントローラ

動画を再生
動画を再生
Yuhu Liu, Yuri Ishikawa, Yohei Fukuma, and Yusuke Nakagawa. 2023. Augmented Haptic VR Experience Combining Two Weight-Shifting Versatile Controllers. In ACM SIGGRAPH 2023 Emerging Technologies (SIGGRAPH '23).

動画の内容テキスト

重心可変コントローラの技術説明動画です

コントローラーの内部にはデバイス全体に対する高い質量比を持つ可動部が備わり、コンパクトなデバイスでダイナミックな重心位置変化を実現しています。重心位置の細かな制御により、仮想空間中でユーザが把持する物体の長さや、強い衝撃感・繊細な振動感の表現を可能にしています。

シンプルでコンパクトなデバイス同士を連結させることで、より複雑な形状の表現も可能になっています。

ソニーでは、映像・オーディオに加えて、より臨場感の高い体験に必要となる
触覚情報の信号処理、伝送技術、再生技術の開発を行い、様々な商品・サービスに展開してきました。

一方で、触覚情報の伝送には、映像やオーディオのように統一されたフォーマットが少なく、
今後のイマーシブメディアの普及を見据えて、互換性のある国際標準フォーマットの必要性が高まっています。
ソニーでは国内外の標準化団体に対して、これまで開発してきた成果・知見を元に
国際標準の規格化に貢献しています。

2023年12月20日 Update