LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-07-12

Temporal Parsing Transformer无步骤标签的有序部件 AQA

#near-cvpr-2025#video-understanding#evaluation#reasoning#primary-source

一句话结论

TPT 用 ranking+sparsity 约束 learnable queries，在没有步骤标签时学出固定数量的有序 latent parts，并以 part-wise query–exemplar 回归把 MTL-AQA w/ difficulty 的 $\rho$ 提至 0.9607；但它依赖 10 个带真分参考样本，latent attention 不是可验证阶段或扣分解释。

方法与接口

I3D 生成 20 个 clip features；仅 decoder 的 TPT 用 $K$ 个 queries 解码 temporal parts。ranking loss 约束 attention centers 的时间顺序，sparsity loss 促使局部聚焦。待测视频与 exemplar 的同-index parts 逐一形成相对表示，预测分差并加 exemplar 真分。

  • MTL-AQA 最佳设置用相同 difficulty exemplar，先估 raw score 再乘难度。
  • AQA-7/JIGSAWS exemplar 来自同 coarse class。
  • 每个测试样本平均 10 个 exemplars；不是单视频绝对评分器。
  • 无 part boundary/name/quality 标签，也不输出 caption。

协议与核心结果

数据/设置CoRe $\rho$TPT $\rho$TPT R-$\ell_2$
MTL-AQA w/o DD0.93410.94510.3222×$10^{-2}$
MTL-AQA w/ DD0.95120.96070.2378×$10^{-2}$
AQA-7 平均0.84010.87151.68×$10^{-2}$
JIGSAWS 平均0.850.893.668

JIGSAWS 每类 4-fold；MTL/AQA-7 沿用前作 split，但正文未重述 athlete/event/source-video 隔离。

关键消融

  • holistic baseline 0.9498；仅 TPT 0.9522；+ranking 0.9583；+sparsity 0.9607。顺序约束是主要增益。
  • diversity loss 0.9538，低于 ranking 0.9607。
  • positional encoding 0.9526–0.9532，不加为 0.9607。
  • part-enhanced holistic 0.9578；part-wise relative 0.9607。
  • AQA-7/JIGSAWS 个别类别的指标不升，平均 SOTA 不等于全面改善。

泄漏、解释与泛化边界

  • 既有 benchmark split 未证明 athlete/competition/source-video 隔离。
  • 同类/同 difficulty exemplar 和参考真分是额外输入；动作识别、难度识别和检索错误未计入端到端性能。
  • 固定 $K$ 强迫可变程序生成固定部件；有序稀疏 attention 不保证真实边界或语义。
  • 整体分数监督不能证明逐阶段扣分归因；可视化最高响应帧只是定性证据。

对羽毛球 stroke correction 的迁移边界

适合低标注 demo：同 stroke 参考库 + 弱监督有序阶段可先定位“哪里不同”。但应改为可变/可空 parts，并融合 pose/racket/ball/contact tokens；用少量阶段边界和 coach error 验证 latent query。必须 athlete/session/court/camera-disjoint，并把 stroke classifier、difficulty/skill 分层和 exemplar retrieval 错误纳入端到端评测。

对 Wiki 判断的影响

  • 对 体育 AI 视频理解：直接支持“part-wise 相对表示优于整体回归”。
  • 对 体育 AI 路线图：对低成本阶段初始化有价值，对可解释纠错只有限支持。
  • 对 视频理解：说明弱监督顺序先验可替代部分边界标注，但不等于真实 temporal parsing ground truth。

原始材料

  • 全文深分析
  • raw/ingest/2026-04-25-temporal-parsing-transformer-aqa/paper.pdf
  • raw/ingest/2026-04-25-temporal-parsing-transformer-aqa/paper-text.md
  • raw/ingest/2026-04-25-temporal-parsing-transformer-aqa/links.yaml
Metadata
{
  "id": "2026-04-25-temporal-parsing-transformer-aqa",
  "type": "source",
  "title": "Temporal Parsing Transformer：无步骤标签的有序部件 AQA",
  "status": "reviewed",
  "created": "2026-04-25",
  "updated": "2026-07-12",
  "tags": [
    "near-cvpr-2025",
    "video-understanding",
    "evaluation",
    "reasoning",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "ECCV 2022",
  "authors": [
    "Yang Bai",
    "Desen Zhou",
    "Songyang Zhang",
    "Jian Wang",
    "Errui Ding",
    "Yu Guan",
    "Yang Long",
    "Jingdong Wang"
  ],
  "published_at": "2022-10-01",
  "ingested_at": "2026-04-25",
  "canonical_links": [
    "https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136640416.pdf"
  ],
  "raw_entry": "raw/ingest/2026-04-25-temporal-parsing-transformer-aqa/",
  "topics": [
    "topics/sports-ai-video-understanding",
    "topics/sports-ai-roadmap",
    "topics/video-understanding"
  ],
  "entities": [],
  "claims": [],
  "questions": []
}