Cutting Edge
5Gの特長を生かした新しいライブ映像制作のかたち
5Gによるリアルタイム伝送
2021年1月20日
「大容量・高速通信」「低遅延」「多数同時接続」という特長を持つ第5世代移動通信方式（5G）。スポーツの分野においてもさまざまな活用方法が見出される中、ソニーが現在開発を進めている技術の一つが、撮影した映像のデータを、5Gの通信網を使い、低遅延で制作機器やクラウドに送るリアルタイム伝送の仕組みです。2019年には、実際のスポーツイベントでも２度の実証実験を成功させ、実用化に向けた動きが加速しています。
プロフィール
-
吉野 茂
ソニーイメージングプロダクツ&
ソリューションズ株式会社
コンスーマー&
プロフェッショナルビジネスセクター
メディアソリューション事業部 -
佐藤 弘基
ソニーイメージングプロダクツ&
ソリューションズ株式会社
システム・ソフトウェア技術センター
システムソリューション技術部 -
清水 洋次郎
ソニーモバイル
コミュニケーションズ株式会社
ソフトウェア技術部門
SW3部
-
権藤 崇
ソニーエレクトロニクス（米国）
モバイルコミュニケーションズ&
ソリューションズ -
尹 晟赫
(ユン ソンヒョグ)
ソニーヨーロッパ
モバイルPBU
アドバンスドテクノロジー
5Gが広げるスポーツ中継の可能性
──スポーツ中継において、5Gを活用するメリットはどのようなところでしょうか。
尹：現在、マラソン大会の中継では、映像などのデータを上空で旋回する飛行機に取り付けたアンテナを経由して、撮影現場から編集現場へと送っていますが、5G対応デバイスを利用したリアルタイム伝送により、飛行機による電波の中継が不要となり、大幅なコスト・環境負荷低減が期待できます。
吉野：5Gを使ってクラウドに直接送ることで、スタジアムではカメラが無線化され、より自由な角度・場所からの撮影が可能になります。また、開催地に関わらず、遠隔地からクラウド上で高画質映像を編集・配信することが可能となるのもメリットの一つです。
ベルリンマラソン、アメリカンフットボールでの実証実験に成功
──実用化に向けて、すでにベルリンとテキサスの2箇所で実証実験を成功させていますね。まずは2019年9月、ドイツのベルリンマラソンにて実際のスポーツイベントとして初めて行われた5Gリアルタイム伝送の実証実験についてお聞かせください。
尹：ベルリンマラソンでの実証実験は、通信会社のドイツテレコムと映像制作会社のインフロントプロダクションをパートナーとして行いました。ドイツテレコムはもともと定期的に来日し、マネジメント同士が対談をするほどソニーモバイルコミュニケーションズにとって重要なパートナーでした。またインフロントプロダクションはソニーイメージングプロダクツ＆ソリューションズのお得意様で、昔からお付き合いがありました。そんな中、2019年3月にドイツテレコムより「インフロントプロダクションと3社でベルリンマラソンで5Gでのライブ中継PoC（実証実験）をやらないか」との打診がありました。そこで3社の思いが合致し、一気にプロジェクトが動き始めました。
──具体的にどのような実験が行われたのでしょうか？
吉野：一つは放送用途を想定した実験です。コース上に配置した、放送用カメラに接続された映像伝送ボックスのストリーミング映像を、Xperia 5Gミリ波帯対応デバイスで送信し、中継車で受信して映像制作を行いました。もう一つは、ソーシャルメディアへのライブ配信を想定した実験です。同じく3台のXperia 5Gミリ波帯対応デバイスで撮影した映像をクラウド上のサーバーに送り、ソニーイメージングプロダクツ&ソリューションズの簡易中継ソリューション「バーチャルプロダクション」を使ってクラウド上での映像切り替え編集を行い、ソーシャルメディアに配信しました。
5Gリアルタイム伝送システムのイメージ
──5G対応デバイスでは、どのような工夫をされていたのでしょうか？
清水：5Gは高速大容量な通信を可能にしますが、その分発熱量も増えるため、放熱性をいかに高くするかという検討に、開発当初から取り組んでいました。また、無線回路・アンテナ部分も、4Gまでのサポート周波数はそのままで、さらに5Gの周波数を拡張しなければならなかったため、ソニーモバイルコミュニケーションズが得意とする小型高効率化の技術とノウハウを活かし、調整を重ねました。
──伝送ボックスでは、どのような処理が行われているのでしょうか。
佐藤：伝送ボックスでは、カメラから送られてきた映像データを圧縮し、IPによる伝送を行っています。ライブ中継には、高画質、低遅延かつ途切れなく安定した映像の伝送が求められます。この３つを両立することは簡単ではありませんが、それに加え今回の実証実験では、ネットワーク状態が中継の最中に変化する可能性がありました。そのため、急な変化に対応してできるだけ低遅延で高画質の映像伝送ができるよう、圧縮技術や伝送方式のアルゴリズムを設計し、伝送量の調整やロスが起きた際の補償を行う仕組みも実装しました。
──バーチャルプロダクションとはどのような技術でしょうか？
吉野：バーチャルプロダクションは、クラウドを活用した簡易中継ソリューションです。従来、ライブイベントでのカメラ映像の切り替えは、オペレーターが現場でビデオスイッチャーを用いて行ってきました。ソニーが提供しているバーチャルプロダクションは、クラウド上にビデオスイッチャーの機能を構築し、そこに送信されたカメラ映像の切り替え、音声のミキシングなどを全てクラウド上で行い、その映像を配信することができます。バーチャルプロダクションの導入により、現地にオペレーターを派遣することなく映像制作が可能になり、プロダクションのコスト削減等につながっています。
──実証実験の実現にあたり、特に難しかったところはありましたか？
清水：5Gの中でも4Gに近い、比較的低い周波数帯のSub6を使用した実証実験でしたが、想像以上に電波の直進性が高く、上りの通信速度を維持し安定した映像伝送を行うために、現場での電波環境と撮影ポイントとの両立に苦労しました。
尹：ベルリンでの5G基地局の工事が大会2週前まで完成せず、現地での事前試験を直前ギリギリまでできず、かなり不安でした。また大会前日にカメラや5G対応デバイスの位置を確定させて安定した動作を確認できたのですが、当日の朝にハーフマラソンポイントを示す大きな風船で出来たアーチが現れ、カメラ位置とアングルを再調整するなど直前までバタバタしました。折り返し地点に設置したカメラ映像がライブ中継の映像として流れた瞬間にはプレハブにいた関係者皆で歓声をあげました。あの興奮は今でも忘れられません。
──ベルリンでの実験を経て、約2カ月後にはアメリカ、テキサスで行われたアメリカンフットボールの試合で、２回目の実証実験が実施されました。テキサスでの実験についてお聞かせください。
権藤：現地のネットワーク提供者とソニーの共同実験として、放送局や現地のアメリカンフットボールチームの協力を得て実現しました。新たなネットワーク網の展開には、会場オーナーや地元有力者の理解、地元政治や法制確認等、さまざまな手続きが必要です。当初の予定通りにいかず難航した場面もありましたが、パートナーはじめ関係者各位と制約条件や前提条件を考慮しながらマイルストーン設定の調整を行い、設計開発チームとコミュニケーションをとりながら計画を進めていきました。
──具体的にどのような実験を行ったのでしょうか？
佐藤：こちらでも大きく２つの実験を行いました。1つめはカメラマンブースからの伝送です。一試合を通して有線伝送の代わりとして5Gネットワークを利用して映像伝送を行いました。2つめはフィールド内からの伝送です。無線の利点を利用し、メディア関係者がフィールドにたくさんいる中で小回りの利いた中継を行いました。
５G対応デバイスを搭載したカメラで撮影し、無線で伝送する
──ベルリンでの実験に加えて工夫された点、また苦労された点はありますか？
清水：米国で商用化が進んでいるミリ波はSub6より周波数が高く、より大容量化、高速化が見込め、高精細な映像伝送が可能となる一方で、遠くまで届きにくいなど技術的な難易度も高くなります。ソニーモバイルコミュニケーションズでは、電波を確実にとらえ続けるため、これまで培ってきた通信技術を生かし新たに小型アンテナモジュールを開発し、端末に適切に配置することで、360度全方位の通信領域をカバーすることに成功しました。また、電波の受信状況をモニタリングしながら、使用するアンテナモジュールを効率的に切り替え、伝送ロスの低減と発熱量の抑制に努めたほか、ミリ波通信の特性に影響が出ないよう、端末の材質も変更しました。
佐藤：送信側でも同じく、ミリ波に対応した調整に時間をかけました。カメラマンや周囲の人の動きで電波環境が大きく変化し、伝送速度が急激に落ち込む恐れがあり、安定度を上げるため、ソニーイメージングプロダクツ&ソリューションズとソニーモバイルコミュニケーションズのエンジニアが連携して、電波環境のより良い場所を模索しました。また、映像圧縮技術や伝送技術を改良し、画質を担保しながら安定した伝送ができるよう努めました。
──本番前の事前検証のセッティングにも制約があったそうですね。
権藤：実験当日に向けて、事前に会場入りして5Gネットワーク網の物理的な環境条件の確認や特性評価を行う必要があり、本番前に現場検証を4回は行いたいと考えていました。一方で、アメリカンフットボールのチームからは「チームのフォーメーション練習の様子を部外者には見せられない」「事前に本番同様のオペレーションをみて観客への影響がないことを確認したい」というリクエストがありました。そこでネットワーク提供者・ソニー・チーム間で会場入りの可否、事前検証の時間、チームメンバーの人数制限など調整を重ね、結果として、事前に計3回の会場入りを計画することができました。設計・開発メンバーには厳しい条件の中、ご理解と臨機応変なご対応をしていただき、本番の成功につなぐことができました。
NRGスタジアムでの撮影風景
5Gがもたらす価値を、もっと多くの人へ
──今後の展開や可能性についてお聞かせください。
清水：5Gには、多くの可能性が秘められています。今回の経験を生かして、5G通信技術をソニーのコンテンツやサービスと融合させていくことで、「リアリティ」「リアルタイム」「リモート」の3Rテクノロジーを追求し、新たな感動体験とソニーの新たなビジネス創出に貢献していきたいです。
佐藤：多くの人の支えがあり、私自身とても学びの多い経験となりました。分野や用途の垣根なく、5Gを活用した新たな価値を創出できるよう、さらに技術を磨いていきます。
