SoccerNet 2023 Challenges Results:七任务挑战结果与评测边界
来源:arXiv 2023
全文深读:analysis.md
一句话结论
2023 官方报告把 SoccerNet 扩成七任务年度评测,并将 tracking 改为真正的 detection+association;榜单证明定制系统显著高于 baseline,但不提供统一成本或统计控制,不能当成单一方法论文。
七项核心结果
| 任务 | 数据/主协议 | 私有榜最佳 |
|---|---|---|
| Action spotting | 500 场、110,458 actions、17 类;另 50 场;tight 1–5s | 71.31 tight Avg-mAP |
| Ball action spotting | 7 场、11,041 pass/drive;另 2 场;mAP@1 | 86.47 |
| Dense captioning | 471 场、36,894 comments;另 42 场;METEOR@30 | 26.66 |
| Camera calibration | 25,506 images、226,305 polylines;另 2,690 张;accuracy×coverage | 0.55 |
| Player ReID | 340,993 thumbnails、400 场、6 联赛;mAP | 93.26 |
| End-to-end tracking | 不提供 GT boxes;HOTA/DetA/AssA | 75.61 / 75.38 / 75.94 |
| Jersey number | 2,853 tracklets;另 1,211;accuracy | 92.85% |
协议解释
- 2023 tracking 要同时 detection+association,不能与 2022 GT-box association-only HOTA 93.64 直接比较;
- calibration 没有 camera-parameter GT,分数仍混合场线检测、solver accuracy 与 completeness;
- ReID 是同 action 多视角检索,不是跨整场实名;
- caption 的 30 秒容差及文本相似度不保证事实性;
- jersey overall accuracy 未提供号码频率、可见性与 macro recall 分层。
泄漏与排行榜风险
- private labels 隔离,但报告未逐任务给 game/league/stadium/broadcast-source disjoint 审计;
- ball action 只有 7+2 场却有 102 次提交,jersey 1,211 私有 tracklets 有 157 次提交,反馈式过拟合风险明显;
- CLIP、VideoMAE、ImageNet、ensembles 与 OCR voting 等外部资源未统一;
- winner summaries 经 organizer 审阅规则,不等于独立复现。
系统成本
多个冠军依赖多 encoder/大预训练模型/ensemble/重后处理;论文未统一报告 GPU、GPU-hours、参数量、FPS、内存、能耗或重复运行。因此最高榜分不能直接解释为最佳部署方案。
证据边界
这是 2023 官方年度快照。七任务 metric、样本单位与容差不同,不能做总分;赢家技术摘要只支持系统构成与私有榜结果,详细因果归因需回到各 team paper。
对羽毛球的影响
可迁移 private challenge、tight temporal metric、end-to-end MOT、DetA/AssA、calibration accuracy×coverage 与 tracklet-level aggregation。足球球场、球衣号码、pass/drive 类别、广播机位和所有榜单数字都不能外推羽毛球;羽毛球另需 shuttle trajectory coverage、max gap、court error 与 hit-time error。
证据评级
- 官方协议/榜单:A-
- 赢家方法摘要:B
- 成本受控跨队比较:C
- 羽毛球直接证据:D
原始材料
raw/ingest/2026-05-05-soccernet-2023-challenges-results/paper.pdf(20 页)raw/ingest/2026-05-05-soccernet-2023-challenges-results/paper-text.mdraw/ingest/2026-05-05-soccernet-2023-challenges-results/analysis.md