People
エンタテインメントの未来は、
MPEG技術にかかっている!?
2019年3月1日
昨今、映像や音楽といったエンタテインメントはストリーミングが主流になりつつある。そのため、データは大容量化の一途をたどるばかりだ。今後、立体映像や立体音響が普及すれば、データ量はさらに増すことは間違いない。そこで重要になってくるのがMPEGだ。エンタテインメントの充実とともに、その担うべき分野に広がりを見せているMPEGの最前線を知るべく、オーディオ、映像、システムを担当する3人の技術者たちに話を訊いた。
プロフィール
-
知念 徹
ソニー株式会社
R&D センター
基盤技術研究開発第１部門
オーディオ技術開発部 -
高橋 遼平
ソニー株式会社
R&D センター
基盤技術研究開発第１部門
コネクティビティ技術開発部 -
中神 央二
ソニー株式会社
R&D センター
基盤技術研究開発第１部門
映像技術開発1部
ソニーはスタート地点がまるで違う
──まずは、お三方のなかでは最もMPEGでの活動期間の長い知念さんのこれまでの歩みについて教えていただけますでしょうか？
知念：私は中途入社で、2003年に入社して以来、長らくオーディオのコーデックを担当しており、最近はMPEG-H 3D Audioの標準化活動をしています。
それまではベンチャー企業にいた期間が長く、ベンチャーではなかなかできないことが、ソニーではすぐにできることが大きな驚きでした。映像と音響関連の標準化活動を行う場合、「何かやりたい」と思った時にはまず、映像データやオーディオデータを集める必要があるのですが、ソニーの場合はグループ内にそのデータがたくさんあるので、研究開発をしやすい環境が整っています。加えて、先輩たちもたくさんいますし、情報もたくさん揃っています。つまり、何かを始めるときのスタート地点がまるで違うわけです。ソニーに来て、本当によかったと思っています。
──続いて、高橋さんの入社から現在に至るまでを教えてください。
高橋：私は2008年の入社です。Blu-rayレコーダーのソフトウェア実装をやりたくてソニーに入ったのですが、最初の配属先は、Blu-rayディスクのフォーマットを開発する部署でした。その時から、いわゆる標準化の業務を担当しています。いまは、360度映像のMPEG Systems規格であるOMAF(Omnidirectional Media Format)の国際標準化に取り組んでいます。
──「システム担当」の役割を、かいつまんで教えていただけますか？
高橋：オーディオと映像をひとつのアプリケーションとしてユーザーに配信する、あるいはストレージに保存する、といった時には、そのふたつを多重化してひとつのコンテンツにする必要があります。システム技術は、「オーディオと映像、それぞれ単独では生まれない組み合わせることによる価値」をユーザーにきちんと届けるための、「組み合わせの部分の技術」だと捉えていただければと思います
──ありがとうございます。では最後に、中神さんのご経歴を教えていただけますか？
中神：入社は2004年で、以来映像の圧縮技術の開発を担当しています。元々大学の研究室で映像の圧縮をしていまして、教授の紹介でソニーでインターンをすることになり、そのまま現在に至るという状況です。
配信の隆盛とデータの大容量化という「相反関係」
──みなさんはいま、どのような点にフォーカスして研究、開発をされているのでしょうか？
高橋：例えば最近、ようやくVRが一般的になってきたと思いますが、この先、映像と音声はどんどん大容量化していく流れになっています。そうした映像や音声は、NetflixやYouTube、Spotifyのように、ストリーミング配信が主流になりつつあります。そのままの大容量データをユーザーが見ることができれば魅力的な体験となるのですが、通信帯域幅に制限があるネットワークを介することで、大きいデータをそのままリアルタイムで届けられないという状況が生まれているわけです。しかも、ユーザーによって視聴するネットワークの環境やデバイス(製品)の性能が異なります。そういったなかでも、ユーザーごとに最適な映像体験やオーディオ体験ができるような配信の技術を開発しているところです。
──５Gが待ち遠しいですね。
高橋：それはもちろんです。ただ、通信技術も進化していくのですが、それと同等以上のスピードで「送るデータ」もどんどん大きくなっていくので、依然として映像と音声の圧縮技術と配信技術の進化は必要だと考えています。具体的には、圧縮効率が上がってもデータ自体が大きくなっていくので、例えばVRのような360°映像でいうと、見ているところだけは高画質で送って、見えていないところは低画質で送るなど、ユーザーの視聴状態に応じて「送り方」を工夫することによって、データ量は減らすけれどユーザーの体感の質は維持するという技術がポイントになるかなと思います。
──知念さんと中神さんは、それぞれの専門領域において、どのような研究に携わっているのでしょうか？
知念：オーディオの世界では、ストリーミングが全盛です。スマートフォン等の商品側に保存するのではなく、クラウド上にあるデータをダウンロードしながら聴くというスタイルです。一方でコンテンツとしては、従来からある2チャンネルステレオのものを依然として楽しんでいるわけです。そうした状況のなかで、我々が現在取り組んでいるのが、3次元の立体音響をつくりだす技術の研究開発と、その音源を圧縮・伝送するためのMPEG-H 3D Audioの標準化活動です。2チャンネルステレオと比べると、音の数が増えてくるということと、それに伴ってデータ量が増えるので、いかに圧縮してビットレートを抑えるかがポイントになってきます。
従来MPEGというと圧縮効率がフォーカスされてきたわけですが、それに加えて、今後は音の数がどんどん増えていくので、それをどううまくレンダリングしていくかがオーディオにおいては新しいフォーカスポイントです。圧縮するだけではなく、どうやって音場おんばを表現するかであったり、放送コンテンツや音楽コンテンツをどう表現するかであったりといった、レンダリングも標準化の対象になってきています。つまり、オーディオから見ると、どんどんMPEGの分野が広がっているということです。
従って、圧縮技術に関する技術提案とその議論、最終的な規格化に加え、レンダリングにおいても、自分たちがいちばん良いと考える技術を開発して、提案し規格化を進めていく活動が求められているのが我々の現状です。
中神：映像に関していうと、大きくふたつの流れがあります。ひとつは２次元(2D)映像の進化です。いま、カメラのイメージセンサーが急速に発達しています。昔は低い解像度の写真を撮るのが精一杯だったのですが、それがHDになり、4Kになり、将来的に8Kになって……と解像度が飛躍的に向上していき、それに伴い、撮影した動画のデータ量も大きくなっていきます。それを、大画面のテレビやモバイル端末用にギュッと圧縮して伝送する、というのが圧縮技術のひとつの流れだと思います。
もうひとつは3次元(3D)映像の進化です。例えば複数のカメラで取り囲んで撮ることで、空間をそのまま画像として3次元で撮る、ということが最近できつつあります。それをVRのヘッドセットや3次元のディスプレイで見るといった時に、当然2Dと比べるとデータ量が格段に上がりますので、データを圧縮する技術も、今後重要になってきます。
人に使ってもらうことが最終目標
──冒頭で知念さんが、ソニーが持つ「グループのシナジー」について発言されていましたが、みなさんの研究開発に対して、商品の設計を手がける事業部側から要望があったりするものなのでしょうか？
知念：はい、あります。社内の事業部からの要望もありますし、世界的な流れというものもあります。我々のように標準化に携わっている者は、論文を書いて技術の進化に貢献するだけでなく、人に使ってもらう、つまりは産業として成り立つようにするというのが最終的な目的になるので、当然、事業ニーズは汲み上げています。例えば「計算量はこれだけにしてほしい」といった要望がありますし、「音質はこれ以上にしてほしい」という要望も社内から挙がります。
中神：例えばソニーが商品として目指したいところと、他社が商品として目指したいところは、当然違うわけです。標準化というのは、そのすり合わせをする場だと思っているのですが、ソニーがやりたいなと思っている技術提案をしても、他社はそうは思わない、ということも往々にしてあるわけで、そうなると当然話がかみ合わないわけです。そこが標準化の難しさでもあります。
高橋：Blu-rayディスクフォーマットのように、よりビジネス的な色合いが濃いところの標準化を進めていた時は、自分たちの技術や製品の強みが活かせる形での標準化が求められました。ビジネスに直結する標準化なので、そうした重圧を感じながら仕事をするのは、難しさを感じると同時に楽しくもありました。
──ちなみに、みなさんのなかでの横の連携はあるものなのですか？
知念：はい、あります。例えば中神さんが立体映像の話をしていましたが、それは私たちが取り組んでいる立体音響と深く関係しています。3次元空間上に立体映像を出すという時、当然、音も3次元でないとマッチしない。「自分たちが思い描く立体音響映像」の意識合わせをしておかないと、お互いにちぐはぐな標準化をしてしまうことになりかねないんです。
高橋：システムはまさに、オーディオと映像を組み合わせて、その価値を届けるという技術なので、連携は常に意識しています。それこそ立体映像と立体音響は、どうやって組み合わせ、いかに価値を創造してユーザーに届けていくかが、これからの開発ポイントになると思います。
グループのシナジーが、標準化を後押しする
──標準化に向かうプロセスが、非常に重要かつ困難であることがだんだんとわかってきましたが、改めて、ソニーだからこその強みを挙げるとすると、どのようなことになるのでしょうか？
知念：冒頭の話と重なりますが、ソニーグループには、映像コンテンツをつくりだすソニー・ピクチャーズ エンタテインメントがあり、音楽コンテンツをつくりだすソニー・ミュージックエンタテインメントがあり、さらにはゲームコンテンツをつくりだすソニー･インタラクティブエンタテインメントもあることから、グループ内でなんでもできてしまう点は非常に強みだと思います。標準化においては、初期の段階の意識合わせがとても重要なのですが、グループ内にコンテンツを持っている人たちがいるので、意識合わせがものすごくしやすいです。
例えば、シリコンバレーのスタートアップでは、ユースケースの設定をどうするかが議論になり、なかなか研究開発をスタートできないことがあるそうです。ソニーの場合はグループ内にコンテンツ企業があるので、顧客のユースケースを設定しやすく、またニーズも拾い上げやすいうえに、最終的に標準化するための条件も設定しやすいというところが強みだと思います。
──標準化においてイニシアティブを取っていくためには、どういったことが必要なのでしょうか？
知念：引き続き、映画や音楽、ゲームといった魅力的なコンテンツを持ち続けることだと思います。そこがなくなってしまうと他社との差分が小さくなってしまいますから。クリエイターのニーズを汲み上げたうえで技術開発をしていくためには、コンテンツを持っていることが非常に重要かつアドバンテージになるということを、改めて強調しておきたいです。
中神：映像でいうと、2Dの圧縮は歴史が古く、JPEGの時代から少しずつ改善しながら進化を続けていて、またMPEGでは新たなコーデックを目指して議論が始まっています。ひとつひとつの技術が高度化している状況で地道な改善をしていくのは、もちろんソニーとしても大事だと思っています。一方で3Dでも、きっちり圧縮していくことを考えていかなければいけないと思っているのですが、まだ議論が始まったばかりの新しい分野ですから、標準化の場を生かして、いろいろな技術を仕込んでいきたいと思っています。
高橋：例えば自由視点映像の配信や自由視点オーディオの配信は、世の中にまだ実装されていません。VRは出てきていますが、一般層向けにも浸透していく段階は、これからです。そんな状況のなかで、ソニーは「コンテンツもあるし、PlayStation ®のような強力なプラットフォームもある、強いシナジーを持つ会社である」といったふうに、標準化の場でも社外から見られています。そのプレゼンスを十分に意識しながら、自分たちがやりたいことを積極的に標準化に入れ込んでいきたいと思います。それが、グループ全体で新しいサービスを立ち上げる呼び水になればいいと思っています。
