- スポーツ×AIの社会実装が徐々に進み、価値をもたらし始めている
- 選手へのフィードバックを効果的に伝えることが難しい
- スポーツHCIにおける最先端研究の簡単なまとめ
導入
このブログ記事は【HCI Advent Calendar 2021】の16日目の投稿として書かれたものです。書きながら色々面白い論文を見つけて読んでいたら遅れてしまいました。ごめんなさい！
自己紹介
まずは自己紹介から、
現在(2021年12月)は筑波大学大学院で主にスポーツ×AIの研究をしているスコットアトムと申します。研究分野は、スポーツ科学・コンピュータビジョン・エージェントベースシミュレーションなどです。詳しくは以下のページをご覧ください。
"What I do" in 30s, 5mins, and 10mins畑違いなアドカレに投稿するモチベ
スポーツ解析は徐々にホットになりつつありますが、「解析結果をどうフィードバックするか」という課題が実応用のボトルネックであると何度か実感しました。例えば、1) 深層学習を用いた選手のトラッキングをして、2) 強化学習したエージェントにシミュレーションをさせて 3) 高度な指標を作っても、結局は 4) レポート化して監督に出すか、人を介して選手に直接伝えます。いくら高度なシステムを開発しても、最後は選手・監督・コーチにデータを翻訳するアナリストとなる人の存在が必要になります。そのため、そういった人を雇う予算が割けないスポーツ趣向者を含むアマチュア以下向けのシステムを開発する際は頭を悩ませることが多いです。
そんな時、CMUの荒川さん(@rikky0611)からMindless Attractorを紹介してもらいました。人間の無意識的な認知特性に働きかけ、自然と注意を引く非明示的な設計には新鮮さを感じ、HCIの分野に興味が湧きました（とはいえ、実は学類生の時に善甫先生のXperLabに出入りしていて共同研究をしていた過去があります😎 [1, 2, 3]）。
とにかく、HCIが新たな視点からフィードバックの問題を解決するヒントになるんじゃないかと思いアドベンターに参加することにしました！
スポーツ×AI
プロ向けのスポーツ解析
スポーツにおける数値的な解析の成功例は「The Numbers Game」「Basketball on Paper」「Moneyball」など、本や映画として目にすることがあるかもしれません。実際に2000年初頭から多くのプロスポーツチームでは、専門的なアナリストを採用することが増えています。日本ではデータスタジアム株式会社を始めとするスポーツデータに特化した会社も存在しており、JリーグでもPCを操れるアナリストのニーズが増えてます（僕も大学を卒業する際に行くつかのJチームからオファーを頂くことがありました）。
ユニコーンとして有名な日本のAIスタートアップの株式会社Preferred Networksもスポーツチームを立ち上げ、深層学習をもちいたスポーツの分析行っています（下記の動画にてPreferred Networksの取り組みを紹介します）。
AI研究の実験台としてのスポーツ
スポーツは多くの研究分野にとって挑戦的な課題を有するため、スポーツを題材とした最先端の研究も多く行われています。中でも私のお気に入りは、ARでサッカーの試合を立体的にテーブル上に再現する「Soccer on your tabletop（CVPR’2018）」というものです。
今年の頭にはAlphaGoで有名なDeep Mind社がイギリスの強豪サッカークラブ、リバプールと共同での論文（48ページもの大作！）をJournal of Artifical Intelligence Research（JAIR）に発表しました。タイトルは「Game Plan: What AI can do for Football, and What Football can do for AI（ゲームプラン：AIがフットボールのためにできること、そしてフットボールがAIのためにできること）」と題されたものとなっており、内容もそのままです。
Deep Mindのサッカー論文では、サッカー解析分野が自動ビデオアシスタントコーチ（AVAC）システムという形でAI研究にどのような恩恵を与えることができるかを解説しています。特筆すべきは彼らが「ゲーム理論」「統計的学習」「コンピュータビジョン」の3つの分野が、サッカーの解析を前進させる重要な構成要素であることを強調していることです。
リモートワークアウトとデジタルフィットネス
自宅で使えるワークアウトキットや遠隔コーチングツールの需要もコロナの発生以降は急増しました。その影響でデジタルフィットネス市場では思い切ったM&Aがいくつかあります。例えば、2020年7月にアスレチック・アパレル・ブランドのルルレモンは、ライブやオンデマンドのセッションをストリーミングできるインタラクティブなスマートミラーを販売するミラー社を5億ドルで買収しました。
日本では、SIXPADのHOME GYMやバチェラーの黄皓さんがCEOを務めるMirror Fitの方が有名かもですね。
体育の授業や部活動ももちろんコロナの影響を受けています。調べてみるとソフトバンクはコロナ以前からスマホやタブレット、パソコンで、動画を活用したプライベートレッスンが受けられる「スマートコーチ」のプラットフォームの提供をしていたようです。
コミュニケーション＝スポーツにおけるAIの課題
スポーツアナリティクス／遠隔ワークアウト・セッションは（まだ）AIを使ってない
さて、こんな感じでスポーツ×AIの分野をザッと紹介しましたが、アマチュア以下の選手やスポーツ趣向者に向けの、深層学習を使ったいわゆるクールなAIシステムはなかなか登場してません。
プロのスポーツチームでもAIシステムに頼って重大な決断を下すことはありません。各チームには、数字を計算し、必要な指標を生成し、それを実際の意思決定者である選手やマネージャーが消化できる情報に変換する翻訳者がいます。
先ほど消化したlululemonのMirrorも映像のストリーミングがメインでAIを使っているというわけではありません。ちなみにMirrorはこれまで2億5000万ドルから2億7500万ドルの売上を見込んでいたが、先週、その見込みを半分の1億2500万ドルから1億3000万ドルにすることを決定したばかりです。
モラベックのパラドックス
AIコーチにはできないが、人間のコーチにはできることとして、実技のデモンストレーション、キューイング、動作の援助を通じて効果的に指導することが挙げられます。
AIコーチの難しさは人間の運動に関する生物学的な基礎を理解することの難しさにあると思われます。ちなみに、感覚運動や知覚のスキルには膨大な計算資源が必要であるという観察は、モラベックのパラドックスと言うちょっと有名な問題として知られています。
こんな背景を踏まえて、HCIとスポーツに関する最近の研究成果を見ていきましょう！
HCI×スポーツ、最近の動向
サーベイを進めてると思ってたよりも多くの研究が見つかったので、今回はCHI 2021のHAA Workshopで興味深いと感じた研究に限定して紹介することにしました。
HAA 2021: ACM CHI 2021 Workshop: Human Augmentation for Skill Acquisition and Skill Transfer
このワークショップでは、コンピュータビジョン、仮想現実・拡張現実、ロボティクス、人工知能などを用いて、人から高度なスキルを取得（＝コピー）し、人に伝達（＝ペースト）するスキル習得支援システムの技術や事例を議論することを目的としています。
AIによる解析の結果を選手やスポーツ趣向者にコピペすることができたら相当なインパクトがあると思い、このワークショップで発表された研究を詳しく見ていくことにしました。
SynergyFlow: Sonification of Muscle Synergy for Motor Skill Acquisition [リンク]
マッスルシナジー仮説によると人間の脳は個々の筋肉を別々に制御するのではなく、小さな筋肉群を組み合わせて制御しているそうです。そこで本研究では、マッスルシナジーに基づくEMGデータの超音波化システム「SynergyFlow」を提案しています。「SynergyFlow」とは、運動中の筋電図データから筋シナジーを導き出し、音に変換してフィードバックするシステムで、実験後のインタビューでは8人中6人がわかりやすかったと答えたそうでした。どんな音が出るのか気になりますね。
GolfPlan: Learning Swing, Pose and Motion Retargeting From Videos [リンク]
データベースから理想的なスイング例を選択し、ユーザーにそれを真似するシステムが開発されています。スイング動作を地面に投影するShadow Golf（同研究室の先行研究っぽい）と組み合わせることでほぼ全自動でスイングのフィードバックを受けることができそうです。
体型差も考慮してベストなスイングを選択してそうでしたが、残念ながら詳細は書かれていませんでした。
A Simple Visual Feedback Method for Virtual Tennis Training System to Accelerate Repetitive Practice [リンク]
この研究ではヘッドマウントディスプレイを使用したVRテニストレーニングシステムが開発されています。フィードバックの特徴を「ユーザーがどう動いたか」と「ユーザーがどう動くべきか」の2つに分類し、前者の特徴に着目したトレーニングシステムを開発したそうで、動作直後に右上の図のような画像を表示することで、「ユーザーがどう動いたか」を素早くフィードバックするシステムを作っています。
Mixed Reality Table Tennis System with "True" Haptic Feedback [リンク]
筆者らは最近のスポーツトレーニング用VRシステムがただのシミュレーションであることを問題視（一個上のテニスの研究...）しており、ハプティクスによるフィードバックを実装した卓球システムを開発しています。
HAA2021は未完成の研究が多かったのでそれぞれの先行研究を漁っていたら色々出てきましたが...続きはPart 2で！
関連しそうな研究を知っている方はぜひ教えてください！
Thanks for reading!
Hi, I'm currently researching individual & group human motion at the University of Tsukuba🤸 My interests intersect sports science, computer vision and agent based simulations. See the pages below for more information!
"What I do" in 30s, 5mins, and 10minsPublications🇬🇧English Posts