LLLMWIKI
ArticleResearch mapReading portalMetadata

Claim · Updated 2026-09-08

统一多模态向量需要同时验证任务意图、跨域泛化与检索成本

Back to topic: Image-Text Retrieval

English translation pending — this page shows the Chinese original.

Current judgment

Limited support · under review

Current evidence supports a scoped judgment; broader transfer remains under review.

10 / 5

Still to verify

More controlled comparisons across scale, budget, and tasks are needed to raise confidence.

命题

统一 embedding(向量表示)是图文检索的重要前沿,但“支持多种输入”不等于“在所有任务上通用”。评价它至少需要拆开任务指令、query/target 模态、语言/领域、域外泛化、向量存储和延迟。

为什么重要

如果只比较一个平均分,研究者可能看不到某个语言、组合查询或文档场景的退化;如果只看生成式 VLM 的语义能力,又可能忽略向量索引系统的实际成本。

支持证据

  • MuCo将同图多监督对共享视觉前向,说明统一向量训练可通过监督密度改善效率;其“多轮”只在训练中,不能替代用户多轮交互验证。2B一次M3T预训练的名义371.2 A100 GPU-hours不包含数据合成、微调、索引和在线成本。
  • UniIR/M-BEIR 将不同检索任务和 instruction 放入统一框架。
  • VLM2Vec/MMEB 将 VLM 转成多任务 embedding,并包含域外评估。
  • ColPali 说明多向量表示与视觉文档检索可以结合。
  • 多语言多样性 说明语言和地域分布是泛化变量。
  • E5-V、MIEB 和 SigLIP 2 提供了跨任务、跨语言和多尺度 embedding 的新证据;VisRAG 则把统一表示连接到视觉文档 RAG。

反证或局限

  • MuCo的MMEB 7B整体73.6高于B3的72.0,但检索子类73.7低于74.1、CIRR54.1低于65.8(主文Table 1、补充Table J);这直接反驳“均分领先就能替代专门检索器”,并不否定统一输入接口本身。原文的pair总数、FLOPs计量和部分汇总冲突未完全澄清,不能把局部训练统计当作端到端效率证明。
  • ALBEF 和 FILIP 说明专用精排/多向量路线仍有价值,统一单向量未必能替代它们。
  • ColPali 的多向量优势伴随索引成本,不能把精度提升直接等同于系统优势。
  • MIRACL-VISION 在文字密集的多语言页面上观察到文本模型明显优于视觉模型,说明“统一视觉 embedding”不能替代按证据类型分层的基线。

当前评估

暂记为 monitored 趋势判断。对于中等算力项目,更现实的是冻结或轻量适配已有 backbone,做任务条件融合、域外测试和成本曲线,而不是重新训练超大通用模型。