AI による 3D アスリート追跡

この記事は、medium.com に公開されている「3D Athlete Tracking with AI」https://medium.com/openvino-toolkit/3d-athlete-tracking-with-ai-8fc16d97a33c の日本語参考訳です。原文は更新される可能性があります。原文と翻訳文の内容が異なる場合は原文を優先してください。

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

この記事の PDF 版は下記からご利用になれます。
https://www.isus.jp/wp-content/uploads/pdf/openvino_03_3d-athlete-tracking-with-ai.pdf

著者: Nelson Leung (インテル コーポレーション 3DAT チーム)、Maajid N Khan、Sesh R Seshagiri、Yamini Nimmagadda、Akhila Vidiyala、Sachin Rastogi (インテル コーポレーション OpenVINO™ チーム)

3D アスリート追跡 (3DAT) チームが AI を使用して標準のビデオから 1,000 点以上のバイオメカニクス・データを認識、追跡、分析した結果、顧客は、詳細なパフォーマンス・データや 3D ビジュアライゼーションを含むウェブ・アプリケーションやモバイル・アプリケーションなど、リッチで強力なバイオメカニクス製品を作成できるようになりました。

このブログでは、3DAT チームが OpenVINO™ チームとの協力の下、OpenVINO™ ツールキットを使用してモデルのパフォーマンスを向上し、クラウドコストを大幅に削減した方法を説明します。

はじめに
世界のスポーツ市場における AI は、2020 年の 14 億ドルから 2030 年には 192 億ドルに達すると予測されています (2021 年から 2030 年までの年平均成長率を 30.3% として予測)。スポーツにおける AI の活用は業界全体で進んでおり、トレーニングとパフォーマンス分析、選手の健康の維持、フィットネス、スカウトと採用、放送と広告などの分野で利用されています。

ビデオデータの収集と分析は、アスリートのパフォーマンス向上に役立ちます。例えば、フィールドにおける選手の動きを追跡することで、コーチは、チームに影響を与える、全体的なパフォーマンスを向上するために調整が必要なポイントを把握できます。

コーチやアスリート向けのコンピューター・ビジョン・ベースのビデオ分析は、アスリートの動きを自動的に分析する、スポーツ分野の最も一般的なアプリケーションの 1 つです。ビデオ分析では、マシンラーニング・ソフトウェアとパターン認識を使用して、運動中のアスリートのビデオ映像からデータを自動的に抽出します。このデータを使用して、スポーツチーム、コーチ、アスリートは、選手やチームのパフォーマンスを定量化、評価、および改善することができます。

選手の動きを追跡するコンピューター・ビジョン・モデルは、怪我の潜在的なリスク要因を特定できます。例えば、アスリートがランニング中に何度も不自然な着地をしている場合、足首を怪我するリスクのサインを示している可能性があります。リスクのサインを早期に特定することにより、コーチとアスリートは怪我の予防措置を講じることができます。

インテル® 3D Athlete Tracking (インテル® 3DAT) テクノロジーは、コンピューター・ビジョン・ベースのモデルを使用して、アスリートの動きを抽出して分析します。キーとなるポイントを使用して、速度、加速度、姿勢などのアスリートに関連するバイオメトリクスを計算します。3DAT SDK は、パートナーが消費者向け製品を構築する際に 3DAT AI の強力な 2D/3D およびバイオメトリクスの機能を活用できるようにする SaaS プラットフォームです。消費者のニーズに合わせて、アプリケーションをシームレスに統合、デプロイ、スケーリングできます。

チャレンジ
手頃な価格でアスリートにパーソナライズされたコーチングを提供します。

スポーツコーチは、アスリートが潜在能力を最大限に引き出せるように支援します。コーチは、アスリートのパフォーマンスを分析し、関連するスキルを指導し、激励して、スポーツ選手をトレーニングする責任を負っています。コーチは、アマチュアやプロのアスリートに、スポーツで成功するために必要なスキルを教えます。アスリートは、良い成績を収めるためのステップについて、コーチにアドバイスや指導を求めます。

スポーツでの怪我は誰にでも起こりえるものであり、怪我の後に競技に復帰するアスリートは特に高いリスクにさらされています。研究によれば、コーチの管理の下でリハビリテーション・プログラムを使用すると、怪我の再発率を減らすことができます。

ほとんどのアマチュアアスリートは、特に発展途上国では、優れたコーチに師事することができません。

ソリューション
3DAT チームは、アスリートが自分の能力を最大限に引き出せるように、すべてのアスリートに平等な機会を提供する、AI ベースの完全に自動化されたプラットフォームを開発しました。このプラットフォームは、アスリート、スカウト、コーチの要件をサポートします。

トレーニング
主に、AWS* EC2* DL1 インスタンスを利用して、3DAT パイプラインの 2D モデルと 3D モデルをトレーニングしています。すべてのモデルタイプで、既存の GPU ベースのインスタンスと比較して着実にコストが削減され、既存モデルの市場投入までの時間の大幅な短縮や、大規模で複雑なモデルのトレーニングが可能となっています。

Gaudi アクセラレーターを搭載した Amazon* DL1 インスタンスは、市場のほかの GPU 製品よりも、優れたコスト・パフォーマンスを実現します。モデルのトレーニングには PyTorch* フレームワークを使用しました。2D および 3D パイプライン向けに次のモデルをトレーニングしました。

– 人物 + オブジェクト検出器

– 2D 姿勢推定

– 3D 姿勢推定

推論と最適化
インテル® OpenVINO™ ツールキットは、インテルのハードウェア上の AI ワークロードの計算を最適化および高速化する推論ソリューションです。トレーニング済みの 2D および 3D PyTorch* モデルは、ONNX (Open Neural Network Exchange) モデルの表現形式に変換された後、OpenVINO™ ツールキットのモデル・オプティマイザー・ツールを使用して OpenVINO™ 形式または OpenVINO™ の中間表現 (IR) に最適化されます。

FP32 に最適化された IR モデルは、同じインテルのハードウェア上のほかのディープラーニング・フレームワーク・ランタイムと比較して、スループットの点で OpenVINO™ ランタイムを使用した場合のパフォーマンスを上回りました。

次のステップとして、FP32 IR モデルはさらに最適化され、OpenVINO™ ツールキットのトレーニング後の最適化ツール (POT) の、デフォルトの量子化アルゴリズムを使用したトレーニング後の量子化により、8 ビット精度に変換されます。その結果、モデルの処理速度とスループットは飛躍的に向上します。ビデオストリームを処理する場合、精度をわずかに下げることで、高い FPS が得られます。

INT8 IR モデルは、第 3 世代インテル® Xeon® プロセッサー上の推論で非常に優れたパフォーマンスを発揮します。

3DAT との統合
高速な推論の最適な組み合わせを見つけるため、INT8 IR モデルを使用した OpenVINO™ ランタイムを用いたこの最終的な最適化ソリューションを、さまざまな OpenVINO™ ランタイム構成で実験しました。

次に、推論に既存の PyTorch* API ではなく OpenVINO™ API を使用するように推論の定義を変更して、このソリューションを 3DAT の 2D および 3D パイプラインと統合しました。新しい OpenVINO™ ソリューションを使用した最適な組み合わせを見つけるため、パイプラインを異なるバッチサイズで実験しました。OpenVINO™ ランタイムにより、高速な推論が提供されただけでなく、インテル® Xeon® プロセッサーでの動的入力形状のサポートなど、3DAT の高度な要件もサポートされました。

統合はスムーズで、3DAT のプリプロダクション環境における新しいパイプラインのテスト結果は非常に素晴らしいものでした。

この移行により、3DAT はクラウド推論のコストを大幅に削減でき、OpenVINO™ 推論が 3DAT 製品にとって最も費用対効果の高いソリューションになりました。

＋＋＋＋＋＋＋＋
「OpenVINO™ チームは、インテル® 3DAT のビジネスを成長させるために惜しみない協力をしてくれました。彼らのソリューションを利用することにより、パフォーマンスを維持し、優れた製品を顧客に提供しつつ、クラウドでモデルを実行するコストを削減することができました。」

インテル コーポレーション スポーツ・パフォーマンス・テクノロジー・シニア・ディレクター Jonathan Lee
＋＋＋＋＋＋＋＋

結果
全体的に、インテル® Xeon® スケーラブル・プロセッサー (開発コード名: Ice Lake) で、ほかの GPU ベンダーよりも優れたコスト・パフォーマンスを達成できました。

まとめ
この処理により、コーチはアスリートの 2D および 3D 姿勢推定を長期にわたり分析して、速度などのバイオメカニクス・メトリックを測定し、定量的および定性的な方法を使用してアスリートのパフォーマンスをモニタリングできるようになりました。

このブログでは、OpenVINO™ を活用して、インテルの CPU で高速な推論を含む同じ機能を提供することにより、クラウドのコストを大幅に削減し、製品のコスト・パフォーマンスを高めて、多くのアスリートやコーチにサービスを継続して提供し、より多くの潜在顧客を獲得する方法を紹介しました。

＜OpenVINO™ ツールキットとは＞
AI を加速する無償のツールである OpenVINO™ ツールキットは、インテルが無償で提供しているインテル製の CPU や GPU、VPU、FPGA などのパフォーマンスを最大限に活用して、コンピューター・ビジョン、画像関係をはじめ、自然言語処理や音声処理など、幅広いディープラーニング・モデルで推論を最適化し高速化する推論エンジン / ツールスイートです。

OpenVINO™ ツールキット・ページでは、ツールの概要、利用方法、導入事例、トレーニング、ツール・ダウンロードまでさまざまな情報を提供しています。ぜひ特設サイトにアクセスしてみてください。
https://www.intel.co.jp/content/www/jp/ja/internet-of-things/openvino-toolkit.html

◆法務上の注意書き

ここに記載されているすべての情報は、予告なく変更されることがあります。インテルの最新の製品仕様およびロードマップをご希望の方は、インテルの担当者までお問い合わせください。

3DAT の内部テストデータに基づく結果。性能は、使用状況、構成、その他の要因によって異なります。詳細については、https://intel.com/PerformanceIndex (英語) を参照してください。
性能の測定結果はシステム構成の日付時点のテストに基づいています。また、現在公開中のすべてのセキュリティー・アップデートが適用されているとは限りません。構成の詳細は、補足資料を参照してください。

インテル® テクノロジーの機能と利点はシステム構成によって異なり、対応するハードウェアやソフトウェア、またはサービスの有効化が必要となる場合があります。実際の性能はシステム構成によって異なります。絶対的なセキュリティーを提供できるコンピューター・システムはありません。詳細については、各システムメーカーまたは販売店にお問い合わせいただくか、http://www.intel.co.jp/ を参照してください。

絶対的なセキュリティーを提供できる製品またはコンポーネントはありません。

記載されているコスト削減シナリオは、指定の状況と構成で、特定のインテル® プロセッサー搭載製品が今後のコストに及ぼす影響と、その製品によって実現される可能性のあるコスト削減の例を示すことを目的としています。状況はさまざまであると考えられます。インテルは、いかなるコストもコスト削減も保証いたしません。

インテルは、サードパーティーのデータについて管理や監査を行っていません。原典を確認し、ほかの情報も参考にして、参照しているデータが正確かどうかを確認してください。

© Intel Corporation. 無断での引用、転載を禁じます。Intel、インテル、Intel ロゴは、アメリカ合衆国および / またはその他の国における Intel Corporation の商標です。

その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。