当前判断
有限支持 · 持续复核当前证据支持一个范围受限的判断,跨任务外推仍需继续核验。
10 / 5
支持证据 10
MuCo:共享视觉上下文的多轮对比学习UniIR:训练和评测通用多模态信息检索器(Training and Benchmarking Universal Multimodal Information Retrievers)VLM2Vec:把视觉语言模型训练成通用多模态向量模型(Training Vision-Language Models for Massive Multimodal Embedding Tasks)ColPali:用视觉语言模型做高效文档检索(Efficient Document Retrieval with Vision Language Models)SigLIP:语言-图像预训练的 Sigmoid 损失(Sigmoid Loss for Language Image Pre-Training)
仍待验证
需要更多同规模、同预算、跨任务的受控比较,才能继续提升判断强度。
命题
统一 embedding(向量表示)是图文检索的重要前沿,但“支持多种输入”不等于“在所有任务上通用”。评价它至少需要拆开任务指令、query/target 模态、语言/领域、域外泛化、向量存储和延迟。
为什么重要
如果只比较一个平均分,研究者可能看不到某个语言、组合查询或文档场景的退化;如果只看生成式 VLM 的语义能力,又可能忽略向量索引系统的实际成本。
支持证据
- MuCo将同图多监督对共享视觉前向,说明统一向量训练可通过监督密度改善效率;其“多轮”只在训练中,不能替代用户多轮交互验证。2B一次M3T预训练的名义371.2 A100 GPU-hours不包含数据合成、微调、索引和在线成本。
- UniIR/M-BEIR 将不同检索任务和 instruction 放入统一框架。
- VLM2Vec/MMEB 将 VLM 转成多任务 embedding,并包含域外评估。
- ColPali 说明多向量表示与视觉文档检索可以结合。
- 多语言多样性 说明语言和地域分布是泛化变量。
- E5-V、MIEB 和 SigLIP 2 提供了跨任务、跨语言和多尺度 embedding 的新证据;VisRAG 则把统一表示连接到视觉文档 RAG。
反证或局限
- MuCo的MMEB 7B整体73.6高于B3的72.0,但检索子类73.7低于74.1、CIRR54.1低于65.8(主文Table 1、补充Table J);这直接反驳“均分领先就能替代专门检索器”,并不否定统一输入接口本身。原文的pair总数、FLOPs计量和部分汇总冲突未完全澄清,不能把局部训练统计当作端到端效率证明。
- ALBEF 和 FILIP 说明专用精排/多向量路线仍有价值,统一单向量未必能替代它们。
- ColPali 的多向量优势伴随索引成本,不能把精度提升直接等同于系统优势。
- MIRACL-VISION 在文字密集的多语言页面上观察到文本模型明显优于视觉模型,说明“统一视觉 embedding”不能替代按证据类型分层的基线。
当前评估
暂记为 monitored 趋势判断。对于中等算力项目,更现实的是冻结或轻量适配已有 backbone,做任务条件融合、域外测试和成本曲线,而不是重新训练超大通用模型。