LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-07-12

TrackNetV3增强羽毛球 shuttle tracking 的数据增强与轨迹校正

一句话结论

TrackNetV3 以背景拼接、视频级 mixup 和一维 InpaintNet 把 TrackNetV2 的 accuracy 从 94.98% 提至 97.51%、recall 从 94.56% 提至 99.33%;它是可用的 shuttle tracking 前端,但修复会牺牲定位 precision,且输出仍不是球场/三维轨迹或动作质量。

论文定位与任务边界

论文做的是 frame -> presence, x, yshuttle tracking。trajectory rectification 仅补全图像平面坐标序列;没有相机标定、2D/3D court-coordinate trajectory reconstruction、物理速度/高度估计,也没有 action quality assessment。对羽毛球纠错 demo,应把它放在 pose/击球阶段之前的感知层。

方法概述

  • 8 帧窗口 heatmap tracker;重叠窗口结果按高斯权重集成。
  • 固定机位下跨 rallies 求 match median background,与视频帧拼接。
  • 对两段等长视频及 heatmap 做 mixup;实验上优于单帧混合。
  • weighted BCE 处理前景像素极少的问题;0.5 阈值后取最大连通块质心。
  • InpaintNet 是沿时间轴的一维卷积 U-Net,输入坐标和 mask,修复短漏检段;训练随机 mask 约 30%,最佳输入长度 16。

数据与实验

TrackNetV2 Shuttlecock Trajectory Dataset:训练 23 场/172 rallies,测试 3 场/29 rallies;原视频 720×1280,评估下采样到 288×512。距离≤4 像素且 presence 一致才算正确。报告 accuracy、precision、recall、F1 与 FPS。

方法AccuracyPrecisionRecallF1FPS
YOLOv757.8278.5359.9668.0034.77
TrackNetV2(作者重实现)94.9899.6494.5697.0327.70
TrackNetV397.5197.7999.3398.5625.11

作者重实现的 V2 高于原论文 87.72%,因此比较应以同表重实现为准。取消 8 路集成可超过 75 FPS,但 accuracy 约降 0.2 个百分点。

关键消融

  • +Background:accuracy 94.98→95.64,recall 94.56→95.58。
  • +Mixup:accuracy 96.12,F1 97.73。
  • +Rectification:accuracy 97.51、recall 99.33,但 precision 从 99.62 降至 97.79。
  • 校正把 FN 3.56%→0.57%,同时 FP1 0.24%→1.49%、FP2 0.07%→0.43%。因此 repaired 点必须显式标记,不能和实测点混用。
  • background 与 augmentation 有交互:配视频 mixup 时,直接拼原帧与 background 最好。

局限或疑问

  • 只有一个固定广播机位数据集;跨场馆、帧率、移动镜头泛化未验证。
  • 4 像素阈值绑定 288×512 分辨率。
  • 球几乎不可见时仍会失败;InpaintNet 可能生成合理但错误的位置。
  • 输出在视频坐标,二维投影会扭曲高度和速度;作者明确把 3D 重建留作未来工作。
  • 没有按 stroke、速度、遮挡长度报告,也没有击球时刻/轨迹物理一致性指标。

真实 10 样本 demo 价值

高:首版 shuttle tracking baseline。 10 个 clip 应覆盖 smash、drop、clear、net shot、serve,以及广告/球员/球网遮挡、出画和拖影。每个样本保存 raw xy、visibility/confidence、repair mask、repaired xy 与人工 hit frame;评估 4 像素误差、漏检率、最大断轨、修复前后误差和 hit_frame ±30 连续性。动作纠错仍需 pose、球场映射和质量 rubric,不能由 V3 直接给分。

对当前 Wiki 判断的影响

  • 直接支持:高速 shuttle tracking 需要专用多帧 heatmap 表示;背景、视频增强和局部轨迹修复可降低漏检。
  • 间接支持:更完整的 shuttle xy 可为 hit detection 和 pose 对齐提供输入。
  • 不支持:已经完成 trajectory reconstruction;已经能够评价动作质量。
  • Roadmap 应明确四层:shuttle tracking → court/3D reconstruction → hit/phase alignment → action quality assessment。

证据评级:A-(任务内强直接证据):全文、数据、消融与官方实现齐全;但外部泛化有限,修复存在 precision trade-off。

复现状态

官方 checkpoint 与 predict.py 已在 synthetic shuttle-like video 上跑通,生成 48 行 CSV 和视频;这只证明 pipeline 可运行,不是 benchmark 复现。真实 CUDA benchmark 方案与 runner 位于:

  • raw/ingest/2026-04-25-tracknetv3/repro-demo-2026-05-05.md
  • raw/ingest/2026-04-25-tracknetv3/cuda-benchmark-repro-2026-05-06.md
  • raw/ingest/2026-04-25-tracknetv3/run-tracknetv3-cuda-benchmark.sh

原始链接

相关页面