LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-07-12

WEAR户外健身的第一视角视频与四肢 IMU 数据集

#near-cvpr-2025#video-understanding#multimodal#benchmarking#primary-source

一句话结论

WEAR 用 22 人、11 个户外地点、18 类健身活动和约 19 小时同步 egocentric video + 四肢 accelerometer 建立多模态 HAR benchmark；LOSO early-fusion TriDet 1 秒窗口平均 mAP 82.26，但 test 混合 4 个新参与者与 2 个重录者，且任务没有姿态、动作质量或羽毛球标签。

数据与传感器

  • 22 人（13 男/9 女），平均年龄 27.59±4.69；样本偏年轻健康；
  • 18 类 jogging/stretching/strength 活动，11 个德国户外地点；
  • 四块 Bangle.js：左右腕/踝，3-axis acceleration，50 Hz、±8g；
  • 头戴 GoPro Hero 8/11：1080p、60 FPS、向下 45°；
  • 第三人称相机只用于标注，不发布；音频不发布；
  • 同步跳 + 时间戳校正，IMU/视频都重采样；单 expert 标活动区间；
  • 有伦理审批、书面 consent 和撤回机制。

Split 与泄漏边界

  • 18 人做 LOSO validation，3 seeds；
  • 独立 test 约 4 小时：4 个 unseen participants + 2 个训练参与者重录；
  • test 同时变化季节、部分地点和 Hero 11 camera，但不是纯 subject-disjoint；
  • 50% overlap windows 高度相关；
  • 下游模型从头训练，但视觉 I3D features 来自 Kinetics-400 预训练；
  • 未报告同步残差、双标一致率或 participant/location/camera 分层 test。

方法与结果

输入为 0.5/1/2 秒窗口：

  • inertial：shallow DeepConvLSTM、Attend-and-Discriminate；
  • TAL：ActionFormer、TriDet；
  • video：RGB+flow I3D 2048-d；
  • IMU：12 axes 直接向量化；1 秒为 600-d；
  • early fusion：拼成 2648-d；
  • 传统 IMU 输出做 10 秒 majority-vote smoothing。

LOSO early-fusion TriDet 1 秒：

PRF1[email protected]/0.4/0.5/0.6/0.7Avg mAP
73.3982.0075.0986.42 / 85.48 / 83.35 / 80.39 / 75.6482.26

最佳 camera TriDet 1 秒平均 mAP 81.30。独立 test 图中 early fusion 仍最强，TriDet(I+C) 约 88.10% mAP，但混合新人与重录者，不能解释为纯跨人泛化。

成本与复现

  • 单 Tesla V100；每次训练不超过 24 小时；3 seeds；
  • 数据、固件、recording plan 和代码公开；
  • 未计 I3D/flow feature extraction、采集/标注工时、存储、端侧 latency、内存或功耗；
  • 仅右腕显著降性能，腕+踝接近四传感器，部署成本应单独权衡。

局限

  • 单一 expert；同步和标签边界无误差统计；
  • 22 人且人口统计窄；新地点/设备覆盖很小；
  • 10 秒 smoothing 不适合即时反馈；
  • oracle late fusion 看 ground truth，只是上限；
  • activity labels 不等于动作质量或生物力学；
  • “无预训练”不适用于 Kinetics-pretrained I3D features。

羽毛球边界

可借用多模态同步、participant/session-disjoint、传感器缺失消融和 segment metrics。WEAR 不含羽毛球、racket、shuttle、contact 或错误动作；1 秒窗口与 10 秒平滑不能外推击球纠正。羽毛球需要高帧率 contact GT、腕部 IMU 精确同步、court/camera/player-disjoint 和教练一致率。

证据评级

  • 数据资源：A-
  • LOSO baseline：B+
  • 跨人/跨设备泛化：B
  • 实时端侧：C
  • 羽毛球直接证据：D

原始材料

  • raw/ingest/2026-04-25-wear-outdoor-sports-dataset/paper.pdf（21 页）
  • raw/ingest/2026-04-25-wear-outdoor-sports-dataset/paper-text.md（2,128 行）
  • raw/ingest/2026-04-25-wear-outdoor-sports-dataset/analysis.md

相关页面

Metadata
{
  "id": "2026-04-25-wear-outdoor-sports-dataset",
  "type": "source",
  "title": "WEAR：户外健身的第一视角视频与四肢 IMU 数据集",
  "status": "reviewed",
  "created": "2026-04-25",
  "updated": "2026-07-12",
  "venue": "arXiv 2023",
  "published_at": "2023-04-01",
  "ingested_at": "2026-04-25",
  "tags": [
    "near-cvpr-2025",
    "video-understanding",
    "multimodal",
    "benchmarking",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Marius Bock",
    "Hilde Kuehne",
    "Kristof Van Laerhoven",
    "Michael Moeller"
  ],
  "canonical_links": [
    "https://arxiv.org/abs/2304.05088",
    "https://arxiv.org/pdf/2304.05088.pdf",
    "https://mariusbock.github.io/wear/"
  ],
  "raw_entry": "raw/ingest/2026-04-25-wear-outdoor-sports-dataset/",
  "analysis_note": "raw/ingest/2026-04-25-wear-outdoor-sports-dataset/analysis.md",
  "topics": [
    "topics/sports-ai-video-understanding",
    "topics/sports-ai-roadmap",
    "topics/video-understanding"
  ],
  "entities": [
    "entities/sportsmot"
  ],
  "claims": [],
  "questions": [
    "questions/question-badminton-stroke-correction-demo"
  ]
}