一句话结论
TrackNetV3 以背景拼接、视频级 mixup 和一维 InpaintNet 把 TrackNetV2 的 accuracy 从 94.98% 提至 97.51%、recall 从 94.56% 提至 99.33%;它是可用的 shuttle tracking 前端,但修复会牺牲定位 precision,且输出仍不是球场/三维轨迹或动作质量。
论文定位与任务边界
论文做的是 frame -> presence, x, y 的 shuttle tracking。trajectory rectification 仅补全图像平面坐标序列;没有相机标定、2D/3D court-coordinate trajectory reconstruction、物理速度/高度估计,也没有 action quality assessment。对羽毛球纠错 demo,应把它放在 pose/击球阶段之前的感知层。
方法概述
- 8 帧窗口 heatmap tracker;重叠窗口结果按高斯权重集成。
- 固定机位下跨 rallies 求 match median background,与视频帧拼接。
- 对两段等长视频及 heatmap 做 mixup;实验上优于单帧混合。
- weighted BCE 处理前景像素极少的问题;0.5 阈值后取最大连通块质心。
- InpaintNet 是沿时间轴的一维卷积 U-Net,输入坐标和 mask,修复短漏检段;训练随机 mask 约 30%,最佳输入长度 16。
数据与实验
TrackNetV2 Shuttlecock Trajectory Dataset:训练 23 场/172 rallies,测试 3 场/29 rallies;原视频 720×1280,评估下采样到 288×512。距离≤4 像素且 presence 一致才算正确。报告 accuracy、precision、recall、F1 与 FPS。
| 方法 | Accuracy | Precision | Recall | F1 | FPS |
|---|---|---|---|---|---|
| YOLOv7 | 57.82 | 78.53 | 59.96 | 68.00 | 34.77 |
| TrackNetV2(作者重实现) | 94.98 | 99.64 | 94.56 | 97.03 | 27.70 |
| TrackNetV3 | 97.51 | 97.79 | 99.33 | 98.56 | 25.11 |
作者重实现的 V2 高于原论文 87.72%,因此比较应以同表重实现为准。取消 8 路集成可超过 75 FPS,但 accuracy 约降 0.2 个百分点。
关键消融
- +Background:accuracy 94.98→95.64,recall 94.56→95.58。
- +Mixup:accuracy 96.12,F1 97.73。
- +Rectification:accuracy 97.51、recall 99.33,但 precision 从 99.62 降至 97.79。
- 校正把 FN 3.56%→0.57%,同时 FP1 0.24%→1.49%、FP2 0.07%→0.43%。因此 repaired 点必须显式标记,不能和实测点混用。
- background 与 augmentation 有交互:配视频 mixup 时,直接拼原帧与 background 最好。
局限或疑问
- 只有一个固定广播机位数据集;跨场馆、帧率、移动镜头泛化未验证。
- 4 像素阈值绑定 288×512 分辨率。
- 球几乎不可见时仍会失败;InpaintNet 可能生成合理但错误的位置。
- 输出在视频坐标,二维投影会扭曲高度和速度;作者明确把 3D 重建留作未来工作。
- 没有按 stroke、速度、遮挡长度报告,也没有击球时刻/轨迹物理一致性指标。
真实 10 样本 demo 价值
高:首版 shuttle tracking baseline。 10 个 clip 应覆盖 smash、drop、clear、net shot、serve,以及广告/球员/球网遮挡、出画和拖影。每个样本保存 raw xy、visibility/confidence、repair mask、repaired xy 与人工 hit frame;评估 4 像素误差、漏检率、最大断轨、修复前后误差和 hit_frame ±30 连续性。动作纠错仍需 pose、球场映射和质量 rubric,不能由 V3 直接给分。
对当前 Wiki 判断的影响
- 直接支持:高速 shuttle tracking 需要专用多帧 heatmap 表示;背景、视频增强和局部轨迹修复可降低漏检。
- 间接支持:更完整的 shuttle xy 可为 hit detection 和 pose 对齐提供输入。
- 不支持:已经完成 trajectory reconstruction;已经能够评价动作质量。
- Roadmap 应明确四层:shuttle tracking → court/3D reconstruction → hit/phase alignment → action quality assessment。
证据评级:A-(任务内强直接证据):全文、数据、消融与官方实现齐全;但外部泛化有限,修复存在 precision trade-off。
复现状态
官方 checkpoint 与 predict.py 已在 synthetic shuttle-like video 上跑通,生成 48 行 CSV 和视频;这只证明 pipeline 可运行,不是 benchmark 复现。真实 CUDA benchmark 方案与 runner 位于:
raw/ingest/2026-04-25-tracknetv3/repro-demo-2026-05-05.mdraw/ingest/2026-04-25-tracknetv3/cuda-benchmark-repro-2026-05-06.mdraw/ingest/2026-04-25-tracknetv3/run-tracknetv3-cuda-benchmark.sh