一句话结论
FineSports 用 10,000 个 NBA 片段、12→52 类动作层级和目标人 action tubes 建立多人细粒度定位 benchmark;PoSTAL 达 [email protected] 21.54、[email protected] 24.31,但颜色/号码提示与不透明 split 带来身份捷径风险,且它不是 caption 或 AQA。
数据与标签
- 10,000 clips,平均 11.74 秒;16,000 action instances。
- 12 个 action types、52 个 sub-action types;123,014 个空间框、32,096 个时间边界。
- 空间标注覆盖持球人、队友、对手;时间标注覆盖有效 action segment 与步骤切换帧。
- FIBA 规则 lexicon,由 3 名篮球协会运动员参与;MixSort-OC 初始化 track/框后人工纠错。
- 数据仅 NBA 全景转播;类别长尾,未报告标注一致性、球员/赛事 split 或身份统计。
方法与接口
PoSTAL 输入视频和“球衣颜色 + 号码”提示。PTA 用文本—视频 cross-attention锁定目标人;ATD 用 6 个 tube queries 直接回归逐帧框、边界和 sub-action 类别。训练用 frozen BLIP + Kinetics-400 预训练 CSN-152。
它输出类别化 action tube,不输出自然语言 caption、质量分、步骤扣分、球轨迹或接触点。
协议与核心结果
| 方法 | [email protected] | [email protected] | [email protected] |
|---|---|---|---|
| MOC | 19.21 | -- | -- |
| TubeR | 19.48 | 28.91 | 17.76 |
| PoSTAL | 21.54 | 31.18 | 24.31 |
正文未说明 train/val/test 比例或 competition/player/source-video 分组,不能把结果当跨球员/跨赛季泛化证据。
关键消融
- 去 descriptive words:frame-mAP 20.67、[email protected] 12.44;完整 PTA 为 21.54/24.31。
- tube queries 2/6/10 的 [email protected] 为 21.34/24.31/23.46,6 最均衡。
- 未隔离球衣身份、读号错误、tracking 质量和类别提示的贡献。
对羽毛球 stroke correction 的迁移边界
可迁移“选定目标运动员→定位 stroke tube→层级分步骤”的前端,双打遮挡尤其受益。不可直接用于纠错:需新增 pose/racket/ball/contact 与 coach rubric,并把颜色/号码提示改为点选人或 track/re-ID。评测必须 athlete/session/court/camera-disjoint;tube/class 置信度不能冒充动作质量。
对 Wiki 判断的影响
- 对 体育 AI 视频理解:多人目标人细粒度 tube 是直接支持。
- 对 体育 AI 路线图:适合作为“先定位谁何时做了什么”的动作层前端,不支持评分层。
- 对 视频理解:提供层级语义、身份条件和多人遮挡压力测试。
原始材料
- 全文深分析
raw/ingest/2026-04-25-finesports/paper.pdfraw/ingest/2026-04-25-finesports/paper-text.mdraw/ingest/2026-04-25-finesports/links.yaml