这条线现在为什么值得做
体育 AI 是视频理解最容易落地的一条分支：比赛视频天然包含长时序、多主体、遮挡、身份保持、空间结构、规则约束和战术语义。通用视频模型经常停留在问答或分类，体育场景会把能力压到更可验证的结构化任务上：能不能持续跟住同一个球员，能不能识别多人交互，能不能补全全场轨迹，能不能把轨迹转成比赛状态与战术解释。
当前 wiki 已经建立的入口是 体育视频理解。这份 roadmap 的作用是把已有证据组织成公开阅读路径和后续研究计划，让 wiki.garyko.com 的体育 AI 部分变成可持续更新的研究资产。
公开阅读路径
先用三个入口判断要读哪条线；具体论文放到下方表格里，页面保持路线图形态。
三步入口
| 路径 | 先读 | 读完应该得到什么 |
|---|---|---|
| 建任务地图 | 主流视觉 Backbone → 体育视频理解、SportsMOT | 明白 CNN、Transformer、Mamba/SSM、GCN 怎样支撑检测、跟踪、轨迹、动作识别和可复核决策。 |
| 看 football 主线 | SoccerNet-Tracking → SoccerNet-GSR → Broadcast2Pitch → PathCRF | 建立 tracking → pitch state → event / possession 的研究链条。 |
| 看落地闭环 | VARS、X-VARS、羽毛球动作纠正 demo | 理解判罚辅助、训练反馈和 human-in-the-loop 系统怎样变成可验证应用。 |
按问题选读
| 你关心的问题 | 推荐入口 | 关键词 |
|---|---|---|
| 论文里的 CNN / Transformer / Mamba / GCN 怎么选 | 主流视觉 Backbone | backbone、CNN、U-Net、ViT / DiT、GCN、Mamba / SSM |
| 球员能否稳定跟住 | SportsMOT、SportMamba、SoccerNet-Tracking | MOT、遮挡、相似球衣、非线性运动 |
| 从跟踪到比赛状态 | TeamTrack、TranSPORTmer、SoccerNet-GSR、Broadcast2Pitch | full-pitch、轨迹补全、minimap、状态重建 |
| 轨迹如何变成事件语义 | Event2Tracking、PathCRF | 控球路径、事件检测、轨迹-事件互证 |
| 裁判 / VAR 如何做解释 | Automated Offside、VARS、X-VARS、RefereeBench | 几何规则、多视角犯规、解释链、人类复核 |
| 羽毛球小目标和挥拍反馈 | TrackNet → TrackNetV3 → ShuttleSet → TemPose → BST | shuttle tracking、hit frame、skeleton、stroke type |
| 训练反馈和部署闭环 | TrackMAE、FineCausal、VideoAuto-R1、HITL Retrieval | 动作阶段、错误定位、按需解释、人机复核 |
九层研究地图
| 层级 | 核心问题 | 当前证据 | 下一步最该补什么 |
|---|---|---|---|
| 0. 主干架构 | 论文到底在用 CNN、Transformer、Mamba/SSM、GCN、U-Net 还是混合主干 | 主流视觉 Backbone、TimeSformer、VideoMAE、SportMamba、ST-GCN | ResNet、EfficientNet、ConvNeXt、ViT、Swin、CLIP、DETR / RT-DETR、SAM 的 canonical source notes |
| 1. 基础感知 | 球员、球、场线、动作是否能稳定检测 | SoccerNet-v2 Camera Calibration、TrackNet、TrackNetV3、TrackNetV4 | 姿态估计、球检测、场地几何校准的 primary papers |
| 2. 多目标跟踪 | 同一球员在遮挡、变速、相似球衣下是否能持续保持身份 | SportsMOT、SportMamba、SoccerNet-Tracking、SoccerNet 2023 Tracking Challenge MOT4MOT、Event2Tracking | 跨镜头/跨视角 tracking、长时 ReID、轨迹泛化 |
| 3. 交互理解 | 模型是否理解挡拆、对抗、传接、协防等人-人关系 | SportsHHI | 更细粒度 relation / event benchmark |
| 4. 全场空间理解 | 局部画面能否恢复到 full-pitch 坐标与队形结构 | TeamTrack、SoccerNet-v2 Camera Calibration、SoccerNet-GSR、Broadcast2Pitch | homography、minimap、unconstrained broadcast robustness |
| 5. 多智能体轨迹建模 | 轨迹能否用于预测、补全、球位置推断、控球路径、事件语义融合和状态分类 | TranSPORTmer、Event2Tracking、PathCRF、MonoTrack | 战术意图建模、trajectory foundation model、轨迹-事件循环校验 |
| 6. 规则与裁判辅助 | 视觉证据能否和规则文本、判罚逻辑结合 | Automated Offside Detection、VARS、X-VARS、RefereeBench | 真实 VAR 复核协议、争议案例、人类一致性、赛事实时性 |
| 7. 动作纠正与解释 | 系统能否说明哪里错、为什么错、怎么改 | ShuttleSet、TemPose、ProtoGCN、TrackMAE、FineCausal、VideoAuto-R1 | 错误模式标签、专家反馈、轨迹级解释、按需推理策略 |
| 8. 部署闭环 | 系统是否能低延迟、可解释、可复核地服务训练和比赛 | Human-in-the-loop Adaptation、AI Driven Soccer Analysis | MLOps、失败案例库、human-in-the-loop 评估协议 |
报告来源已编译成 primary evidence
已补入并编译一批独立 primary / official sources：FineGym、MultiSports、FineDiving、LOGO、TacticAI、SoccerNet-GSR、FineSports、AthletePose3D、Universal Soccer Video Understanding 和 TrackNetV3。这让 roadmap 成为 primary-evidence-backed 的研究入口。
当前阶段判断
这条线最稳的入口是 tracking 与 trajectory understanding。它们有清晰数据、指标和可复现实验，也能自然连接到战术分析、训练反馈和商业化产品。
更有上限的入口是 interaction / game-state / referee reasoning。它们更接近教练、球探、媒体和赛事运营真正关心的语义层，但当前 benchmark 与 primary evidence 还薄，需要持续补。
公开站的内容策略应以“少量高质量源 + 强综合页”推进：每补 3–5 篇 primary papers，就更新一次 体育视频理解 与本 roadmap，把 source notes 压缩成可复用判断。
当前局限性与研究机会
体育 AI 的主要局限可以压缩成七类：数据覆盖偏置、专家标注稀缺、跨域泛化弱、小目标与遮挡、规则推理不足、可解释输出不足、部署闭环缺失。它们分别对应七个可做的研究机会：跨域数据协议、低标注学习、泛化评测、tracking/association、不确定性规则推理、human-in-the-loop explanation、端到端系统评估。
当前最适合进入论文选题的切口有三类：
- 低标注比赛状态重建：基于 SoccerNet-GSR、SoccerNet-v2、SoccerNet-v2 Camera Calibration、Active Learning for Action Spotting、TeamTrack 与 TranSPORTmer，把追踪、球场几何、事件标注、主动学习和轨迹补全合成一个可复核 pipeline。
- 可解释战术/规则推理：基于 TacticAI、Automated Offside Detection、X-VARS 与 RefereeBench，向 foul / offside / referee assistance 扩展，让模型输出证据片段、几何关系和规则依据。
- 真实体育姿态与训练反馈：基于 AthletePose3D、FineDiving、LOGO、TrackMAE、FineCausal 与 VideoAuto-R1，把运动轨迹表征、动作步骤、评分、因果解释和失败案例可视化连接起来。
这说明 roadmap 的下一步应继续补 primary sources，同时每个 batch 都要回答一个具体局限，把新增论文转成明确研究判断。
近期行动计划
- Batch S1：足球轨迹与比赛状态 — 已补 SoccerNet 数据生态、SoccerNet-Tracking、SoccerNet-GSR、Broadcast2Pitch、Event2Tracking 与 PathCRF。下一步进入 deep-analysis，重点压缩“tracking → pitch state → event / possession semantics → tactical intent”。
- Batch S2：动作与交互 — MultiSports、FineGym、SportsHHI 已补，下一批按 action / interaction 的 relation 粒度继续选 3–5 篇 primary follow-up。
- Batch S3：战术智能与部署 / VAR workflow — 已补 TacticAI、VARS、X-VARS、Human-in-the-loop Adaptation 与 AI Driven Soccer Analysis。下一步补真实复核流程、challenge results 和 human-in-the-loop 评估协议。
- Batch S4：姿态与训练反馈 — AthletePose3D、badminton stroke / SAR 与动作纠正证据已补到可规划 demo 的程度；下一步落到真实样本与错误模式识别，或补 injury-risk / biomechanics 的强 CV/AI primary paper。
2026-05-23 Football game-state / VAR workflow 小批量补强
本轮新增 SoccerNet-Tracking、Broadcast2Pitch、PathCRF 与 VARS。这组证据把 football 子线清理成两条更清楚的 pipeline：
- 比赛状态链：SoccerNet-Tracking 提供 football MOT substrate，SoccerNet-GSR 定义 minimap / pitch-state reconstruction，Broadcast2Pitch 提供 modular GSR follow-up，Event2Tracking 和 PathCRF 把轨迹与事件语义做成双向转换。
- 判罚工作流链：Automated Offside Detection 处理几何规则，VARS 建立 multi-view foul recognition / SoccerNet-MVFoul，X-VARS 进一步加入自然语言解释和 rule-grounded VLM。
这次小清理后，roadmap 中原先滞留的 SoccerNet GSR、TacticAI、MultiSports / FineGym、AthletePose3D 等 P0/P1 条目统一改为“已补”，当前新增 backlog 聚焦 deep-analysis、真实 VAR workflow 和 injury-risk / biomechanics primary evidence。
2026-05-05 Referee / sports MLLM 补强：从视频理解到规则化判罚
本轮新增 X-VARS、RefereeBench 与 Sports-QA。X-VARS 是 CVPR Workshop 2024 的强 primary evidence，直接连接 football refereeing、SoccerNet-XFoul、规则解释和 video assistant referee；RefereeBench 把裁判能力扩展为 multi-sport Video MLLM benchmark；Sports-QA 则补上专业体育 VideoQA 的基础能力层。
这组证据让 roadmap 从 tracking / trajectory-event semantics 继续推进到 rule-grounded decision support：体育 AI 的高价值输出不只是检测到事件，还要把视频片段、实体、时间点、规则和解释链组织成可由人复核的判罚建议。
2026-05-05 Badminton high-speed tiny object tracking 补强
本轮新增 TrackNet、TrackNetV2、MonoTrack 与 TrackNetV4，并把已有 TrackNetV3 的 provenance 更新为 ACM MMAsia 2023 / DOI / official GitHub。
这组证据把 roadmap 从足球 player tracking 扩展到羽毛球 shuttlecock：高速、小目标、运动模糊、遮挡和轨迹断裂是另一类核心难点。TrackNet → TrackNetV2 → TrackNetV3 → TrackNetV4 形成 2D 追踪方法演化链，MonoTrack 则把 2D shuttle localization 推进到单目 3D trajectory reconstruction。TrackNetV3 的 CUDA/GPU benchmark 复现方案已经写入 raw/ingest/2026-04-25-tracknetv3/cuda-benchmark-repro-2026-05-06.md，下一步是在真实 Shuttlecock Trajectory Dataset test split 上生成 mask、跑完整评估并对齐官方指标。
2026-05-16 Badminton stroke / SAR 溯源补强
BST 把 badminton 子线从球路追踪推进到击球语义：Related Work 已追溯到 WACV 2018 broadcast badminton analysis、TrackNet 系列、MonoTrack、TemPose、ShuttleSet，以及 ST-GCN、BlockGCN、SkateFormer、ProtoGCN 等 skeleton-based action recognition 基线。
本轮进一步补入 ShuttleSet、TemPose、BlockGCN、SkateFormer 与 ProtoGCN：ShuttleSet 负责 stroke-level 数据结构，TemPose 负责 badminton skeleton Transformer，BlockGCN 负责 topology-aware GCN，SkateFormer 负责 skeletal-temporal attention，ProtoGCN 负责通用 SAR 里“相似动作细节差异”的 prototype 建模。
Roadmap 上，这把 S4 从“姿态与训练反馈”扩展成“姿态 / 骨架动作识别 / 击球语义 / 动作纠正”。本轮深分析后，demo 的工程顺序也更明确：先用 ShuttleSet 的 hit frame / stroke type / player position 定义样本，再用 TemPose 的 skeleton + shuttle / court position attention 形成证据窗口，最后用 BST 的 hit-frame-centered clipping、shuttle trajectory 和稳定 2D pose 做 stroke-type baseline。最自然的小 demo 是羽毛球挥拍：先做 stroke-type classification，再把错误模式、轨迹异常和解释模板接起来。这个 demo 的最小定义已经整理到 羽毛球动作纠正 demo，并补入 annotation guideline v0.1、baseline 规则 v0.1、最小验收标准和 docs/sports-ai/badminton-stroke-correction-demo/ 可执行脚手架。
2026-05-12 动作纠正补强：运动表征 + 按需解释
本轮新增 TrackMAE 与 VideoAuto-R1。TrackMAE 提供 motion-aware masked video modeling：用 point tracker 生成轨迹，把轨迹同时作为重建目标和 motion-aware masking prior，适合作为体育动作识别、阶段定位和错误轨迹检测的底座。VideoAuto-R1 提供 adaptive reasoning：先给初始答案，再按置信度决定是否进入 reasoning 和复核，适合作为动作纠正系统的解释策略。
这两篇和 FineCausal 组合后，形成一个清晰方向：先用轨迹感知表征定位动作阶段和异常，再用因果/推理层回答“为什么错、怎么改”。它把 roadmap 的训练反馈线从“打分/AQA”推进到“可解释纠正”。
补充来源在哪里看
主阅读路径只放研究链条；工具、产业信号和治理资料按需查下表。
和现有 wiki 的关系
- 视频理解 是上层通用视频理解入口。
- 体育视频理解 是体育 AI 专题页，负责当前证据综合。
- SportsMOT 是数据集实体锚点。
- 生成模型评测 可承接后续体育 AI 评估协议、human evaluation 与可信性问题。
2026-05-17 羽毛球训练反馈证据补强
新增 Towards Structured Analysis、BadmintonDB 与 MultiSenseBadminton，把羽毛球路线从 stroke classification 继续扩展到系统级结构化分析、player-specific 数据和多传感器训练反馈。