re:Invent 2024: PGA TOURがAWSでゴルフ実況を進化させる取り組み
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - How the PGA TOUR is transforming live player commentary in golf (SPT209)
この動画では、PGA TOURがNLP LogixとAWSと共同で取り組むゴルフ観戦体験向上プロジェクトについて語られています。1大会で32,000ショットものデータを収集し、各ショットに40の異なるデータポイントを持つTOURシステムを、Amazon Bedrockを活用して進化させた取り組みの詳細が紹介されています。Human-in-the-loopの検証プロセスを組み込み、3段階の品質チェックを実施することで、AIによる実況解説の精度を高めることに成功しました。2025年の一般公開に向けて、ファンに対してリアルタイムで関連性の高い情報を提供し、より深いゴルフ体験を実現することを目指しています。AIの価値は「置き換える」のではなく「補強する」という考えのもと、段階的に開発を進めた事例として参考になる内容です。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
PGA TOURとAI: ゴルフファン体験向上への挑戦
こんにちは。私はNLP LogixのVP of ProductのJennifer Bradshawです。私はPGA TOURのPrincipal ArchitectのDavid Provanです。私はAWSのGenerative AI Solutions ArchitectのTanner McRaeです。本日は、ゴルフと、ゴルフ観戦について、そしてPGA TOURがNLP LogixとAWSと共にどのようにしてゴルフをより魅力的なものにしているかについてお話しさせていただきます。
まず、本日のトピックの導入として、TOURは2003年に、ゴルフをより深く体験できる方法として立ち上げられました。私たちのファンは主に2つのカテゴリーに分かれています。1つは、リーダーボードを確認してすぐに離れてしまうカジュアルな観戦者、もう1つは、20〜30分かけてコース上で何が起きたのかを詳しく見る人たちです。TOURは、コース全体の全てのショット（1大会で32,000ショット、1ショットにつき40の異なるデータポイント）を探索できる体験です。そのデータは100ミリ秒ごとに更新されます。この体験には膨大なデータが含まれています。その日のあなたのお気に入りの選手やグループについて、コースで何が起きたのかを本当に理解するための、より深い層の体験として設計されています。
しかし、TOURは私たちとAWSに対して、もっと良くする必要があると言ってきました。ゴルフは直線的なスポーツ観戦ではありません。スタジアムに座ってサッカーやフットボールを観戦するのとは違います。お気に入りの選手全員を常に追いかけることは不可能です。プレー場面が常に目の前にあるわけではないのです。そこで、私たちはこれを改善する必要がありました。
ご覧のように、これがTOURの体験ですが、画面の左側に見えるのが、このナラティブ解説の始まりです。私たちにとって重要だったのは、単に何が起きたかを伝えることではありません。本当に重要なのは、それが何を意味するのかということです。オフィスでよく使う言葉は「それで？」です。これが起きた - それは私にとって何を意味するの？コースにとって何を意味するの？私たちの課題は、週32,000ショットに対して、人の関与を最小限に抑えながら、どこに配信しても正確な情報を提供できる体験を構築することでした。
これは簡単そうに聞こえますが、実は少し怖くなるような事実があります。このような解決策で実際に日の目を見るのは20%に過ぎません。皆さんもAIソリューションに取り組んだ経験があると思いますが、よくある原因として、ステークホルダー間の意見の不一致があります。良い解決策とは何か、ファンエンゲージメントの向上とは何かについて合意ができていないのです。また、異なる部門がそれぞれの領域やシェアを争って、サイロ化して働いているということもあります。私たちが持っていたコラボレーションについて強調しておきたいのですが、私たちは本当に「Data Scienceはチームスポーツである」という考えを持っています。使用できるツールをすべて知っているAWSの専門知識があり、ゴルフを知り尽くしているPGA TOURがいました。NLP Logixにもゴルフファンはいますが、PGA TOURほどゴルフとゴルフビジネスについて詳しくはありません。そして、これらすべての情報とツールを取り入れて本番環境に持っていく方法を理解しているNLPと組み合わせたのです。
では、私たちはお互いを本当に気に入っていた以外に、どこから始めたのでしょうか？私たちは一室に集まり、ファンエンゲージメントをどのように向上させるか、じっくりと考えました。今から、この方が眉をひそめる言葉を言います。このアイデア出しのセッションから出てきたのは、Chatbotでした。Davidはこのアイデアを気に入らず、何度も私たちにそう伝えました。しかし、私たちが理解したのは、Chatbotの開発を進めると、より文脈に沿った体験を得るために、ファンに情報を取りに行ってもらう必要があるということでした。ユーザー体験を考えると、それは少し不公平です。そこでDavidが指摘したのは、適切なタイミングでファンに情報をプッシュする必要があるということでした。そこから本格的な議論が始まりました。単に「良いアイデアがある」と言うだけでは不十分で、実際にどのようなデータを扱うのかを理解する必要があります。
これは、プロジェクトが立ち上がらない理由の一つでもあります - データの状態や扱うデータについて本当に理解していないからです。私たちはDavidと多くの時間を費やして質問し、彼は私たちにデータへのアクセスを提供してくれました。私たちは実際にアクセスできる様々な情報や細かなデータについて理解しました。そのデータをPGA TOURが持つゴルフというゲーム、そしてゴルフビジネスに関する専門知識と組み合わせる必要がありました。ファンにとってゴルフの文脈を関連性のあるものにする方法について、時間をかけて話し合うことが非常に重要でした。
結果として、私たちはワークショップでより多くの時間を費やし、実況について話し合いました。ファンエンゲージメントを向上させ、情報をプッシュするために、トーナメント全体を通じて、すべてのショットについてより充実した興奮的な実況をファンに提供したいと考えました。これは素晴らしいアイデアです - データもあり、最終目標も理解できました。しかし、そこで止まるわけにはいきませんでした。私たちは実際に、トーナメントを通じてファンが見たいと思う良い実況の例を約35個ワークショップで検討しました。
とはいえ、David - トーナメント全体で存在するショットは何本でしょうか？先ほど述べたように、私たちはゴルフコースで32,000ショットを記録しています。週ごとに現場に行くチームは、32,000ショットすべてを記録します - 1本でも見逃すと個人的な失態だと考えています。ティーからグリーンまで32,000ショットすべて、18ホール全て、144人の選手全員を記録します。18ホールあり、各ホールに3つの注目ポイントがあります。昨年のShot Link 2システムの再リリースにより、その多くが自動化されています。データ収集はPGA TOURの隠れた秘密です。今年1月にコースに導入されたShot Link 2システムでは、以前のシステムの10倍のデータを収集しています。私たちは間違いなくデータが豊富です。最大の課題は、ファンが情報を得るのに適切なタイミングで、そのデータを関連性のあるものにすることです。
そうですね。彼が今言ったことは、4日間のトーナメントを通じて32,000回、生成する実況を100%正確にしなければならないということを意味していました。それはかなり気が重い課題です。 しかし、あなたが言及したことで重要なのは、優れた実況がどのようなものかを理解するための「ゴールドスタンダード」データセットです。これは私たちが見た成功の多くにとって重要なポイントだと思います。これが機能しているかどうかをどのように知るのでしょうか？Amazon Bedrockの当初からのナラティブは、すべてのユースケースを解決する単一のモデルは存在しないということです。特定のモデルが得意とすることがあり、他のモデルは異なることが得意です。では、それをどのように検証するのでしょうか？そのため、このゴールドスタンダードデータセットが非常に価値があったのです。
実際に、ゴールドスタンダードのデータセットに基づいて、私たちに適したモデルを選択することができました。Amazon Bedrockには、Guardrailsなど他にも多くの便利な機能があります。Guardrailsの中から特定の機能を選んだり、カスタムのものを構築したりすることができます。これにより、モデルがブランドの方針を守り、誤った事実を述べたりHallucinationを起こしたりしていないことをリアルタイムで検証するソリューションを作ることができました。最後に強調したいのは、これらのモデルは単独で存在するのではなく、複合的なシステムの中で機能しているということです。考慮しなければならない運用上のオーバーヘッドが多くあります。
AIシステムの実装と運用：課題と教訓
私たちにとって最大の課題は、PGA TOURの37のトーナメントを毎週どのように運営していくかということです。ご存知ない方のために説明すると、PGA TOUR ChampionsやPGA TOUR Americasなど他のツアーもあります。私たちの最大の目標は1回だけ実施することではなく、年間37回実施し、できるだけ少ない人数で運営することです。AIに関して私たちが直面している大きな課題は、アイデアは素晴らしいのですが、それを実際にどのように組織化するかということです。そこにはいくつかのポイントがあります。まず最初に、私たちはゴルフというドメインを所有することが非常に重要だと早い段階で気づきました。AIの世界では「LLMが理解してくれる」という考え方が流行っていますが、LLMは教えられない限り何も知りません。これが私たちが学んだ教訓です。そこで、要約を生成するためにLLMに非常に構造化された正確な情報を与えるという考え方が、精度向上に大きく役立ちました。
2番目の検証レベルでは、ほぼ完成に近いものの再生成が必要かもしれないコンテンツを捕捉します。これらの検証は、内容は事実として正しいものの、私たちが望む文章スタイルに合っていないケースが多いです。約90%のケースでは、Language Modelは2回目の試行でこれらの問題を修正します。
3番目のレベルまで到達する割合は約0.5%と小さく、これらは依然として不正確なため、このコメントを表示する必要はありません。このコンテンツは人間によるレビューに回され、Data Scienceチームの学習プロセスの一部となり、モデルの改善と反復を可能にします。PGA TOURが毎週一貫性を維持できているのは、一部の献身的なスタッフのおかげでもありますが、これが私たちの仕事だからでもあります。この検証アプローチは、システムの成功的な立ち上げに不可欠でした。
このシステムの効果を示す最高の例は、日本でのZozoトーナメントでした。フロリダにいながら時差がある中でも、就寝前にシステムを起動し、朝起きたら全てが完璧に動いていました。これが私たちのゴールドスタンダードです - システムは自律的に動作し、私たちは次のイノベーションの構築に集中できるべきなのです。2025年に向けて、これを一般公開し、どのような成果が得られるか楽しみにしています。これによって、熱心なゴルフファンの方々に、これまでにない新しい洞察と理解を提供できることを期待しています。
これは、スポーツの視聴方法を変えたNFLのファーストダウンラインほどの革新的なものではありませんが、視聴者をTOURコンテンツに引き込み続ける機会を与えてくれます。2025年に向けて私たちが見ている本当の可能性は、このコンテンツをより魅力的に届けられることです。職場でスポーツサイトを閲覧する人が多いため、私たちのWebトラフィックは木曜日と金曜日にピークを迎えます。TOURコンテンツは通常、ショットの後に5分間の待ち時間があるのですが、このシステムがヘッドフォンで「Scottie Schefferが300ヤードのドライブショットを決めました。フェアウェイ率は14/14です。次のショットを決めれば単独首位に立ちます」と伝えることができます。これによって日中も視聴者を引き付け、私たちのプラットフォームに呼び戻すことができるのです。
これは、ファン体験を拡大し、視聴者に情報を提供して関与を深めるAI体験を作り出す、ほんの第一歩に過ぎません。Davidが言及したHuman-in-the-loopの話に戻りますが、次のイノベーションに取り組みながら、既存のソリューションを常にモニタリングしています。なぜなら、状況の変化は現実のものであり、それに適応する準備が必要だからです。AIソリューションの20%しか本番環境に到達しないという事実を考えると、それはしばしば、データやモデルの運用環境の変化に備えるための人間による監視を忘れているためです。そのフィードバックを継続的に取り入れ、現行システムが効果的に動き続けることを確認しながら、次の魅力的なプロジェクトに気を取られないようにする必要があります。
私たちの経験から得られた主な教訓は、スタート時から全力で走る必要はなく、利用可能な最新ツールをすぐに全て採用する必要もないということです。解決すべき問題を理解し、精度を高めるために時間をかける必要があります。単にソリューションを開発するだけでなく、開発、実装、そして維持するという考え方で構築する必要があります。最初のROIに焦点を当てることは重要ですが、ROIを理解した後は、それがどのように機能しているかを知る必要があります。検証から始めることが重要です。なぜなら、いくつかのユースケースで動作するPOCを構築できても、様々なテストケースで大規模に機能することを確認する必要があるからです。この検証データセットから始めることで、リーダーシップに前進する自信を与えることができます。
このプロジェクトは、Gen AIが何であるか、どこで上手く機能するか、そしてより重要なことに、どこで上手く機能しないかについての目からウロコの経験となりました。
12-14ヶ月前に私たちに尋ねていたら、どのテクノロジーにもあるハイプカーブがあって、最初は私たちを救う救世主のように見え、その後ひどいものになり、最後に実際に何ができるかを理解するに至ります。過去12ヶ月間、NLP LogixとAWSと協働してきて本当にエキサイティングだったのは、私たちがその journey を経験したことです。LLMが全てを知っていると思うところから始まり、実は何も知らないと気付き、最終的にそれを有用なものにする方法を理解するに至ったのです。
私たちは今、企業としてAIで何が上手くいくのかを学んだ位置にいると考えています。AWS NLPのチームが進めている方向性に期待を感じていますが、AIの価値は「置き換える」のではなく「補強する」ことにあるという理解が、私たちにとって重要でした。私たちは今後も様々な取り組みを進めています。144人のプレイヤー全員について私が記事を書くことはできませんが、ファンの皆さんとどのように関わっていけるでしょうか？私たちのオーディエンスがPlayer中心であることを知っており、このプロジェクトのツールは、価値の還元が見込める領域を特定するのに役立っています。
ご指摘の通り、私たちにはAIで実現したい100のプロジェクトがあります。現在は、技術的な実現可能性、期待できるリターン、ファンにとっての価値、運用コストの削減効果を評価するRankingシステムがあり、これらを基に次に進めるプロジェクトを選定しています。私たちにとって最大の教訓は、アイデアを一度却下しても、後で再検討することを恐れないということです。現時点では、Chatbotは私にとって頭痛の種で、二度と見たくないと思っています。しかし、それは2、3年後に、適切なタイミングが来た時に検討すべきではないということではありません。私たちにとって、主なTakeawayは、大切にしているファンの皆さんに新しいものを届けながら、しっかりと学びを得られる経験となったということです。質疑応答の時間を設けています。ご覧の通り、通路にマイクが3つありますので、質問がある方はそちらまでお越しください。誰かが質問するまで、私たちは少し気まずく座っていることになりますが。
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion