Cutting Edge

特集

Talk 01：トラッキングシステム「SkeleTRACK」が持つ無限の可能性 —— ホークアイがもたらす「スポーツ革命」

2024年4月8日

特集トップへ

2001年に英国の起業家Paul Hawkins博士によって設立されたホークアイは、スポーツテクノロジー分野のパイオニアとして知られています。2011年にソニー・ヨーロッパによる買収で大きな節目を迎えた同社は、この分野でのさらなる地位確立を目指しています。

ホークアイのテクノロジーと、それがスポーツとスポーツエンタテインメントにもたらす変化について、同社のAlison Marrと、James Sharamに話を聞きました。

  • Alison Marr

    Head of Tracking Products
    Hawk-Eye Innovations Ltd.

  • James Sharam

    Head of Computer Vision Engineering
    Hawk-Eye Innovations Ltd.

創業者はクリケットの選手

ホークアイは、2001年にPaul Hawkins博士によって設立されました。当初の構想は、1999年当時、彼が勤務していたRoke Manor Research社で実施された「Innovation Amnesty」と呼ばれる活動がきっかけで生まれたものです。彼自身がクリケット選手であったことから、クリケットの軌道追跡アプリケーションのテストに着手し、その後すぐにテニスやサッカーなど幅広いスポーツに拡張しました。そこで開発されたビデオリプレイとトラッキングのテクノロジーは、現在では業界最先端であり、世界的な業界標準となっています。その後ホークアイは、2011年に関連企業のパルスライブとともにソニーに買収され、順調に成長しています。

──二人の現在の役職と役割を教えてください。

James：私は、ホークアイのコンピュータービジョン・エンジニアリング部門の責任者で、トラッキングのための、エンドツーエンドの包括的なコンピュータービジョン・ソリューション構築に携わっています。具体的な業務は、カメラ映像のキャプチャからAIモデルの実行、データフィードの生成、そしてお客様向けのデータ出力まで多岐にわたります。つまり、キャプチャから配信まで、ソフトウェアのエコシステム全体を管理する立場です。

Alison：私はホークアイのトラッキング製品部門の責任者として、あらゆるスポーツのトラッキング製品すべてを担当しています。Jamesと緊密に連携しながら、製品を開発し、それを市場に送り出すのが主な役割です。

スポーツ分析の革命：SkeleTRACKによるイノベーション

──ホークアイの最近のイノベーションであるSkeleTRACKについて教えてください。

James：SkeleTRACKは2019年にリリースされた製品で、主に人間とボールやバットなどの物体をリアルタイムでトラッキングするシステムです。ピッチを監視してカメラの位置を確認したり、フィールド上の別のマーカーをトラッキングしたりするなどの拡張機能もありますが、主な目的は、フィールド上の選手、チーム、放送関係者、ファンなどに向けたリアルタイムの骨格データ生成です。

現在SkeleTRACKでは、肩や腰、足首や手首の関節等を含む、身体の29か所のポイントをトラッキングしています。

SkeleTRACKはただ動きをトラッキングするだけでなく、スポーツ特有の蹴る、投げる、捕るといった事象を検知することも可能です。フィールド上にいる一人ひとりの位置と識別情報を1コマごとに詳細に提供するので、試合の進行状況を示す重要な事象を抽出することができます。

James：SkeleTRACKを運用するにあたっては、複数のカメラをフィールドの周囲に配置する必要があります。カメラは個々の状況に応じて、屋内、屋外競技場の構造物に固定することも、ピッチの周囲に三脚を立てて配置することもできます。異なる視点からキャプチャされた画像は、さまざまなAIモデルや機械学習モデルで分析され、その結果、各フレーム内の個人の位置を特定し、画像を調整することができるわけです。

その後、システムは収集した画像と検出データを処理し、キャリブレーションデータを使用して3Dに変換します。この包括的な手法によって、多様なアプリケーションに対応する、正確で動的なトラッキング機能が実現します。

Alison：トラッキングの対象は骨格だけではなく、たとえば、野球ならバット、ホッケーならスティックもトラッキングします。パートナーであるさまざまな競技連盟と緊密に連携しながら、どのようなデータが有用かを判断し、競技に携わる多くの人々にメリットをもたらしたいと考えています。

──SkeleTRACKはどのようなスポーツに使用されていますか。

Alison：SkeleTRACKは数多くのスポーツに利用可能ですが、現時点では主に、サッカー、野球、バスケットボール、テニス、アイスホッケーで用いられています。

野球において、データはチーム、選手、パフォーマンスアナリストや球団スタッフにとって非常に重要です。

またサッカーでは、データを提供するだけではなく、審判判定支援にも活用されています。たとえば、半自動オフサイド技術は、SkeleTRACKの高精度なリアルタイム骨格およびボールトラッキング・テクノロジーを利用したもので、数年間かけて、主要なサッカー連盟や大会と連携して開発しました。

──SkeleTRACKの強みは、どのようなものですか。

James：いくつかありますが、まず挙げられるのが市場トップクラスの精度の高さです。審判判定支援のツールとして活用されるためには、市場で最も優れたテクノロジーを提供しなければなりません。また、他の多くのシステムが、光学ベースのトラッキングシステムから得た重心データのみに対応しているのに対し、SkeleTRACKは人体の29箇所をリアルタイムで把握でき、データの粒度は市場で群を抜いています。これにより、私たちのシステムは生体力学解析やパフォーマンス分析において多くのユースケースを創出してきました。このように低遅延処理を実現し、補正技術により高い品質を保ちながら大規模に提供できるサービスは、他社にはないものだと思います。

そして、私たちは異なるスポーツとユースケースから得た幅広い経験をもとにシステムを構築することで、クラス最高のモデルを生み出してきました。また、私たちは異なる照明や天候下でのシステム運用など、屋内競技場と屋外競技場での異なる設置条件に対応することができるため、SkeleTRACKを多様な環境で展開しています。さらに、このシステムは、競技やお客様の要求に応じて、オンプレミスだけでなくクラウドでも運用できます。データのユースケースも数多く存在し、審判判定支援ツールへのデータ提供から、パフォーマンス分析や選手の健康管理、さらには、動画へのデータオーバーレイ、仮想空間でのプレーの再現、拡張現実（AR）体験のようなエンタテインメントの素材作成まで、SkeleTRACKを使用することでお客様はまったく新しい世界を切り開くことができるのです。

──たとえばイメージセンサーや映像技術など、ソニーグループの他のテクノロジーとの統合の可能性について、詳しく教えてください。

James：ソニーとはいくつかのプロジェクトで協業を開始しています。

具体的には、サッカーのマンチェスター・シティ・フットボール・クラブとソニーの協業プロジェクトでは、スタジアムに設置されたSkeleTRACKのデータも活用されており、テクノロジーの統合事例のひとつと言えます。

この領域でのコラボレーション機会は非常に多いと思います。現在、機会を探っているのは、コンピュータービジョンと放送技術の両方からメリットを引き出して、より大きな成果を生み出せる領域です。正確で信頼性の高い骨格のトラッキングと識別は、さまざまな分野で実践的な応用ができると考えています。

パフォーマンス分析や選手の健康管理など、さまざまなユースケースに展開できる可能性があります。

Alison：私たちはこれまでソニーのさまざまな研究グループと協業して、小規模な概念実証（PoC）プロジェクトを実施してきました。こうしたプロジェクトを近い将来、具体的な開発へ進めて行きたいと考えています。

試合の内幕：野球とサッカーにおけるSkeleTRACKの先駆的な役割

──SkeleTRACKの現在の主なユースケースは野球とサッカーというお話でしたが、チームとの取り組みについてもう少し詳しく教えてください。

James：一般的に、サッカーにおけるデータの主なユースケースは、審判判定支援に関するものです。選手の位置、ボールの位置、試合のルールを把握することで、審判による一定の判定を自動化することができます。たとえば、ボールがラインの外に出たかどうかなどを判断する場合です。

もうひとつの重要な用途は、仮想空間でのプレーの再現です。選手の動きをトラッキングすることによって試合中の出来事を仮想空間で再現し、それによってさまざまな視点、たとえば当事者の視点を示すことができるので、ピッチ上における選手からの見え方とその動きが明らかになります。

また、トラッキングとキャリブレーションのテクノロジーは、放送用の画像にデータを重ねて表示する際にも役立ちます。たとえば、選手や選手の位置、カメラのキャリブレーションを識別することによって、ライブの放送映像に情報を重ねて表示できるのです。

James：データサイエンスの観点では、選手の動き、試合の戦略、フォーメーションを理解することによって、コーチングやチームトレーニングに役立つ有益な洞察を提供できると思います。

生体力学データは、特に野球の場合、コーチングに使用されています。選手の動きを分析して他選手と比較することによって技術向上に役立てています。

Alison：私たちは、ボールやバット、そしてスポーツ用具全般のトラッキングデータをMLBのほか、東京ヤクルトスワローズをはじめとした日本の一部球団に提供していますが、これは、リーグや球団にとって重要なデータなのです。たとえば、審判の補助とライブ中継のためのリアルタイムデータの提供に関するテストを行っている段階ですが、これは、審判判定の検証とストライクゾーンの計測を目的としたものです。

セリエAでは、選手のトラッキングデータの主要プロバイダーとして、ボールのトラッキングデータ、選手の位置データ、骨格データに加えて、半自動オフサイド技術も提供しています。

──SkeleTRACKはどのような課題解決に貢献するのでしょうか。このテクノロジーの採用の前後で、どのような変化があったのでしょうか。

Alison：ひとつには審判判定支援が挙げられるでしょう。審判を補助するテクノロジーを導入することで、選手もファンも正しい判定がされていると確信でき、すべてのチームに公平性が保証されます。

監督やコーチの観点では、これまでになかったデータの取得が大きな価値をもたらすかもしれません。たとえば野球の場合、ピッチャーの疲労度の監視や故障の予兆の検知は、欠かすことのできない情報になっていくでしょう。

James：SkeleTRACKは放送分野にも貢献します。打球の高さや、テニスのサーブの速度など、データから得たライブの統計情報は、ファンに興味深い洞察をもたらします。

さらに、オフサイドの判定などにかかる時間も短縮されます。ソリューションの自動化によってすぐに判定されるので、ゲームの中断を最小限にでき、ファンも長く待たされずにすむのです。

Alison：半自動オフサイド技術導入前、サッカーのオフサイド判定は、主にVAR（ビデオ・アシスタント・レフェリー）により手動で行われていました。そこで、手動判定と半自動オフサイド技術による判定の所要時間を比較したところ、手動判定が1分以上かかったのに対して、半自動オフサイド技術は15秒と大幅に短縮されることが分かりました。時間がかかると感じることもあったVARによる判定を迅速化できるという確証が得られたのです。

スポーツテクノロジーの進化とその先にある未来

──SkeleTRACKを使った新しいプロジェクトがありますか。もしあれば、その詳細を教えてください。

Alison：最も楽しみなプロジェクトのひとつは、NBAとのコラボレーションです。

私たちは2023年のバスケットボールシーズン開幕と同時期に、選手のトラッキングデータの公式プロバイダーになりました。とてもワクワクするプロジェクトで、バスケットボールならではの素早い動きや非常に背の高い選手の存在といった課題にも取り組んできました。

このプロジェクトでは、さきほどJamesが述べた身体の29箇所を把握するリアルタイムデータの提供からはじめました。加えて、私たちは、自動化された審判ソリューションをバスケットボール向けに最適化することに積極的に取り組み、このプロジェクトに革新的な側面を加えようとしています。

現在進行中のNBAとのコラボレーションでは、今後HawkVISION（選手のプレーをCGで可視化するテクノロジー）も組み込み、中でも、仮想空間でのプレーの再現に注力していく予定です。

これは大きな可能性を秘めた、エキサイティングな冒険的試みになります。

──製品の機能強化に関してはいかがですか。

James：トラッキングする身体の箇所を増やすことです。すでに初期バージョンの18個から現在の29個まで進化を遂げました。

それとは別に、システムを拡張するさまざまな方法も検討しています。ひとつは、すでにあるテクノロジーを展開していく方法で、今検討しているのは、より多くのエッジコンピューティングデバイス上で処理できるようにすることです。そうすればインフラの柔軟性が高まり、大掛かりなケーブルの敷設を減らすことができるでしょう。

また部品を、オンプレミス、クラウド、カメラへの直接搭載など、異なる場所に展開していくことも検討中です。

それは、私たちにとって興味深い開発領域になるでしょう。

──スポーツとスポーツエンタテインメント業界の未来について、特に、SkeleTRACKとHawkVISIONのようなテクノロジーを組み込んだ未来について、どのように考えていますか。

James：さきほどAlisonが触れたように、テクノロジーをスポーツに応用することは、公平性を高めるために必要不可欠だと確信しています。

さらに、ビヨンドスポーツのようなパートナーとの連携を通じて実現する、仮想空間でのプレーの再現といったイノベーションは、スポーツに対するユニークな視点と洞察を生み出し、若い世代の視聴者を惹きつける可能性を秘めています。多様なカメラアングルや、深掘りした分析はもちろんのこと、遊び心のあるスポーツの話題も視聴者に提供することで、従来とは異なるスポーツの楽しみ方をもたらすわけですね。たとえばビヨンドスポーツとの最近のコラボレーションでは、ホークアイのトラッキングデータを使用して、NHLの『Big City Greens』やNFLの『Toy Story Funday Football』のような独自のビジュアル体験が生み出されました。

Alison：SkeleTRACKのトラッキングデータは、試合中のリアルタイムでの情報活用という、新たな世界を切り開きます。研究所では以前から骨格情報が活用されてきましたが、それを実際の試合環境の中で活用できるとなれば、それはまさしくゲームチェンジャーです。たとえば選手の走り方の微妙な変化を検知することで故障の予兆を捉え、適切なタイミングで選手を交代させるなど、大きな可能性が開けてきます。

さらに今では、選手がボールを左足で蹴るときと右足で蹴るときの強度の違いなど、細かい点を掘り下げて調べることもできます。これは今までになかった洞察の宝庫であり、スポーツ分析に新しいエキサイティングな可能性をもたらすに違いありません。

■ 特集一覧

関連タグ

関連記事

コンテンツを一覧で見る