Broadcast2Pitch:几何与身份联合的足球比赛状态重建
会议:WACV 2026
全文深读:analysis.md
一句话结论
Broadcast2Pitch 用 joint line/circle/keypoint homography、LLaMA-3.2-Vision identity cues 与 ID-aware tracklet refinement,把 SoccerNet-GSR 的 GS-HOTA 从原 baseline 22.26 提升到 61.48;相对强 follow-up 的 55.82 增益为 5.66 点,代价是更复杂且未报告端到端 latency 的模块栈。
系统管线
- YOLOX detection;
- DeepEIoU + OSNet tracking/ReID;
- EfficientNet-attention U-Net 检测 pitch keypoints/lines;
- Lines/circles/keypoint fallback 联合优化 homography;
- LLaMA-3.2-Vision 从 crop 生成 role/jersey/color;
- IDATR split/merge tracklets;
- Majority voting/filtering;
- Jersey color clustering + mean pitch x 推断 team。
VLM 只处理 athlete crops 的身份属性,整场动作与战术不在任务内。
数据与训练
- SoccerNet-GSR train/test;
- YOLOX:SoccerNet-Tracking;
- OSNet:SportsMOT;
- Geometry:25 epochs,384×384,lr 1e-4;
- LLaMA-3.2-Vision:SoccerNet jersey dataset 1 epoch,lr 1e-5;
- 单 RTX 4090 24GB;
- 未报告 end-to-end FPS、各模块延迟和总 GPU-hours。
核心结果
| 系统 | GS-HOTA | GS-DetA | GS-AssA | IDF1 |
|---|---|---|---|---|
| GSR Baseline | 22.26 | 10.67 | 46.46 | — |
| Golovkin et al. | 55.82 | 41.67 | 74.86 | — |
| Broadcast2Pitch | 61.48 | 48.47 | 78.00 | 64.20 |
Field registration:
- JaC5/JaC10:69.38/92.84;
- MRE/MedRE:4.47/2.21 pixels;
- Completeness:100%。
这些是 image-plane field-line reprojection 指标,不是 athlete pitch-coordinate meter errors。
消融
| 设置 | GS-HOTA | IDF1 |
|---|---|---|
| Keypoint homography | 48.23 | 51.68 |
| Line/circle optimization | 56.39 | 61.31 |
| Joint + keypoint fallback | 58.51 | 61.57 |
| + IDATR | 61.48 | 64.20 |
Identity:specialized PRTReID+OCR+ResNet 18.11 GS-HOTA;CLIP 60.13;LLaMA-3.2-Vision 61.48。LLaMA 相对 CLIP 增益较小,计算成本更高。
局限与风险
- Team assignment 依赖 jersey color 与平均 x-position;
- Tracklet filtering 可能漏掉困难对象;
- VLM 可能生成无效/幻觉 identity tokens,缺格式失败率和 calibration;
- 错误 identity cue 会导致 IDATR 错误 split/merge;
- GS-HOTA 使用 5m tolerance;
- Benchmark 内训练/测试,跨联赛与转播域未知;
- Pipeline 没有 uncertainty propagation;
- 缺端到端 latency、在线协议和人工复核流程。
对羽毛球 demo 的影响
可迁移 joint court geometry、identity-aware tracklet refinement、oracle ablation 与分层指标。羽毛球无需 jersey VLM/team heuristic,应改为 player click/re-ID、court side、shuttle/racket/contact。坐标 tolerance 应远小于 5m,并分 fixed/mobile camera 与报告全流程 latency。
证据评级
- Soccer GSR:A-
- Field registration:A-
- VLM identity refinement:B+
- 羽毛球迁移:C+
原始材料
raw/ingest/2026-05-23-broadcast2pitch-game-state-reconstruction/paper.pdf(11 页;有轻微 PDF syntax warnings)raw/ingest/2026-05-23-broadcast2pitch-game-state-reconstruction/paper-text.md(1,259 行)raw/ingest/2026-05-23-broadcast2pitch-game-state-reconstruction/analysis.md