MultiSports:多人细粒度体育动作的时空定位基准
会议:ICCV 2021
全文深读:analysis.md
一句话结论
MultiSports 用 3,200 clips、37,701 action instances 和约 902K frame-wise boxes,把体育动作理解定义为多人并发的 actor tube 分类与时空定位;最强基线 frame-mAP 27.72,严格 [email protected] 仅 9.65,说明 frame-level 成绩会掩盖时间边界和 tube linking 失败。
数据集与任务
- 体育项目:篮球、排球、足球、有氧体操;
- Action vocabulary:66 类,主评测覆盖至少有 25 个 val/test instances 的 60 类;
- 3,200 clips,来自 247 场比赛记录;
- 37,701 action instances;
- 约 902K bounding boxes;
- 25 FPS frame-wise 标注;
- Train:1,574 clips / 18,422 instances;
- Validation:555 clips / 6,577 instances;
- Test:1,071 clips,GT withheld。
对应项目的专业运动员标动作类别与时间边界,crowd annotators 逐帧修正 FCOT 传播的人体框。任务同时要求 action class、actor box、temporal boundaries 和 tube linking。
评测协议
- [email protected]:逐帧空间定位与类别;
- [email protected]/@0.5:action tube 3D IoU;
- 3D IoU = temporal IoU × overlap frames 的平均 spatial IoU。
核心结果
| 方法 | [email protected] | [email protected] | [email protected] |
|---|---|---|---|
| ROAD | 3.90 | 0.00 | 0.00 |
| YOWO | 9.28 | 10.78 | 0.87 |
| MOC K=7 | 22.51 | 12.13 | 0.77 |
| MOC K=11 | 25.22 | 12.88 | 0.62 |
| SlowOnly | 16.70 | 15.71 | 5.50 |
| SlowFast | 27.72 | 24.18 | 9.65 |
SlowFast 相对 SlowOnly 的 frame-mAP 提升 11.02 点,AVA 上相应差距只有 4.54 点。高时间分辨率尤其改善短时高速动作:有氧转体约 +30 AP、horizontal support +54 AP。
MOC K=11 相对 K=7 提高 frame-mAP,同时严格 [email protected] 从 0.77 降至 0.62。更长 tubelet 无法自动解决精确时间定位。
关键诊断
- 同项目背景高度相似,球场场景捷径不足以区分细粒度动作。
- 一个足球触球可能只有约 0.5 秒,区分 pass/long ball/through ball/cross 可能需要最多 5 秒上下文。
- Frame-mAP 与严格 tube mAP 的巨大差距证明时间边界与 linking 是独立能力。
- 错误分析需要分别报告类别、空间、时间、tube linking、duplicate 和 background false positives。
局限与证据边界
- 只含四个项目,66 类中 60 类进入主评测;
- 专业广播域,跨训练馆、手机和青少年泛化未知;
- 不标球、球拍/器械、队伍角色或人—人关系;
- 动作类别不等于执行质量、错误原因和教练反馈;
- 测试 GT withheld,主文主要报告 validation;
- 未明确 athlete/source-video-disjoint;
- 25 FPS 对高速 shuttle contact 可能不足;
- 2021 baselines 不是当前上限,且缺少统一 FLOPs/latency。
对羽毛球 demo 的影响
可迁移:actor tube + action class + temporal boundary schema、frame/tube 双层指标、长上下文与分解错误分析。
必须增加:shuttle/racket/court keypoints、contact frame、stroke phase、quality/coach labels、athlete/session/court/camera-disjoint,以及更高帧率或可靠 contact interpolation。
系统层级应写为:
tracking/ID → actor action tubes → multi-agent trajectories/state → interaction → quality/feedback
MultiSports 对应 actor action-tube 层,不能作为技术纠正和训练评分的直接证据。
证据评级
- 体育时空动作定位 benchmark:A-
- 细粒度时序建模:A-
- 羽毛球动作阶段设计:B
- 动作质量与反馈:C / 不直接支持
原始材料
raw/ingest/2026-04-25-multisports/paper.pdf(10 页)raw/ingest/2026-04-25-multisports/paper-text.md(1,386 行)raw/ingest/2026-04-25-multisports/analysis.md