LLLMWIKI
ArticleResearch mapReading portalMetadata

Claim · Updated 2026-09-27

标准图文检索分数不足以证明组合性理解

Back to topic: Image-Text Retrieval

#near-cvpr-2025#multimodal#vision-language#evaluation#benchmarking#open-claim

English translation pending — this page shows the Chinese original.

Current judgment

Limited support · under review

Current evidence supports a scoped judgment; broader transfer remains under review.

8 / 3

Supporting evidence 8

ARO：视觉语言模型何时像词袋，以及如何改进（When and why vision-language models behave like bags-of-words）Winoground：探测视觉语言组合性（Probing Vision and Language Models for Visio-Linguistic Compositionality）SugarCrepe：修复可被捷径攻破的视觉语言组合性基准（Fixing Hackable Benchmarks）No Zero-Shot Without Exponential Data：预训练概念频率决定多模态模型性能COLA：组合式文本到图像检索基准（A Benchmark for Compositional Text-to-image Retrieval）

Counter-evidence and limits 3

CLIP：用自然语言监督学习可迁移视觉表示ALIGN：用噪声文本监督扩展视觉与视觉语言表示学习（Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision）CoCa：对比式图像描述器作为图文基础模型（Contrastive Captioners are Image-Text Foundation Models）

Still to verify

More controlled comparisons across scale, budget, and tasks are needed to raise confidence.

命题

在 Flickr30K、MS COCO 等标准图文检索上获得较高 Recall，只能说明模型在该数据和候选协议下能排序匹配图文，不能单独证明模型理解对象—属性绑定、关系、词序、数量或反事实组合。

为什么重要

如果把 Recall 提升直接写成“视觉语言理解提升”，会掩盖真正的研究缺口，也会让模型在存在文本或数据集捷径时得到虚假进步。

支持证据

  • ARO 发现属性、关系和词序失败，并指出标准 retrieval 可被 shortcut 支撑。
  • Winoground 的同词不同序 2×2 任务让多数模型接近随机。
  • SugarCrepe 发现 blind text-only model 可以攻破已有组合性 benchmark。
  • No Zero-Shot Without Exponential Data 进一步提醒下游概念可能已经出现在预训练数据中。
  • CoLA、CIR Robustness 和 PinPoint 将问题扩展到模型鲁棒性、显式负例、多真值和 query 改写；MIEB 则显示组合性只是统一 embedding 能力的一部分，不能被平均分替代。

反证或局限

  • CLIP、ALIGN、CoCa 的标准检索结果仍然是有效的匹配能力证据，只是证据范围更窄。
  • 组合性 benchmark 自身也可能有构造偏差，不能把单一诊断集当作完整语义理解测量。
  • RMIR是这条测量边界的邻近证据，而非标准Recall失效的直接新增证明：它扩展功能/时序/因果检索，但候选召回与同家族评审限制标签覆盖，人审81%只来自200个triplet。固定公开训练/测试共享850个源图路径，覆盖896个测试query；如果用该训练集微调，须补源图隔离才能主张跨图泛化。论文没有在主表用RMIR训练集训练，故不把共享路径叫作已证实的原榜单泄漏。

证据定位与复核范围

本页最近一次限定复核为 2026-09-27：核对 ARO 的词序扰动与检索捷径讨论、Winoground 的 Table 3，以及 SugarCrepe 的 Figure 2。定位指向已保存原文，具体行号见本页 evidence_locators 元数据。其他来源沿用既有评估；本轮保持原结论与 supported 状态。

下次计划复核为 2026-10-27；此前有相关新证据时提前复核。本轮没有发生结论替代，supersedes 为空。CLIP、ALIGN、CoCa 在本页提供适用范围约束，关系索引中记为 qualifies。

当前评估

本命题在本轮证据中达到 supported。任何新的图文检索方法至少应同时报告标准 Recall、组合性 hard negatives、text-only/image-only 对照、数据重叠审计和失败案例。

反向也成立：不能把推理诊断集的低分直接升级成一般因果/时序理解缺失。先审计正例完备性、标注家族偏差、统计独立单位和来源划分，再用同底座同训练数据的受控实验判断机制。RMIR仅进入本页局限讨论，不混入直接支持/反对证据列表。

Metadata
{
  "id": "claim-image-text-retrieval-compositionality",
  "type": "claim",
  "title": "标准图文检索分数不足以证明组合性理解",
  "status": "supported",
  "created": "2026-07-14",
  "updated": "2026-09-27",
  "last_verified": "2026-09-27",
  "verification_scope": "限定核验：ARO、Winoground、SugarCrepe 已存原文定位与本页核心测量边界；其余来源沿用历史评估，本轮未重做全部全文审计。",
  "review_after": "2026-10-27",
  "supersedes": [],
  "evidence_locators": [
    "sources/2026-07-14-aro :: paper-text.md L329-L334, L417-L432；打乱词序后的检索协议与词袋捷径讨论",
    "sources/2026-07-14-winoground :: Table 3; paper-text.md L294-L314, L326-L353；text/image/group 指标及随机与人类参照",
    "sources/2026-07-14-sugarcrepe :: Figure 2; paper-text.md L159-L173；负例构造伪影及盲模型诊断"
  ],
  "tags": [
    "near-cvpr-2025",
    "multimodal",
    "vision-language",
    "evaluation",
    "benchmarking",
    "open-claim"
  ],
  "claim_status": "supported",
  "claim_type": "evaluation",
  "evidence_for": [
    "sources/2026-07-14-aro",
    "sources/2026-07-14-winoground",
    "sources/2026-07-14-sugarcrepe",
    "sources/2026-07-14-no-zero-shot",
    "sources/2026-07-14-cola",
    "sources/2026-07-14-cir-robustness",
    "sources/2026-07-14-mieb",
    "sources/2026-07-14-pinpoint"
  ],
  "evidence_against": [
    "sources/2026-06-29-clip",
    "sources/2026-07-14-align",
    "sources/2026-07-14-coca"
  ],
  "related_topics": [
    "topics/image-text-retrieval",
    "topics/generative-model-evaluation"
  ],
  "related_entities": [
    "entities/clip-retrieval-benchmarks"
  ]
}