ArticleMetadataMain page

source · 2026-04-16

A-STAR（ICCV 2023）：在测试时直接修 cross-attention 的概念冲突与遗忘

#near-cvpr-2025#image-generation#diffusion#efficiency#primary-source

A-STAR（ICCV 2023）：在测试时直接修 cross-attention 的概念冲突与遗忘

会议：ICCV 2023
发表日期：2023/01/13
资料加入日期：2026-04-16

一句话结论

这篇工作把 guidance engineering 往 attention 内部又推了一层：它不重训模型，而是在测试时直接约束 cross-attention 的分离与保留，减少多概念 prompt 里对象互相覆盖和后期遗忘的问题。

问题定义

text-to-image diffusion 在多概念 prompt 下经常出现两个典型失败：不同概念在空间上互相覆盖，或者模型在前几步短暂捕捉到概念后，后续 denoising 又把它们忘掉。这样最后生成结果就会漏对象、混属性或语义不完整。

方法概述

A-STAR 在测试时引入两种 attention-level loss：attention segregation loss 强迫不同概念的 attention map 更可分，attention retention loss 强迫模型在整个 denoising 过程中持续保留概念信息。它不改训练集，也不额外训练 backbone，而是直接把 cross-attention 当成可调的 guidance 接口。

关键发现

  • 它把 sources/2026-04-16-rethinking-spatial-inconsistency-cfg 暴露的问题再往前推进了一步：不仅 CFG 会出现空间不稳定，cross-attention 本身也会发生概念重叠和遗忘。
  • A-STAR 说明 guidance engineering 已经从“外部条件器怎么挂”继续深入到“attention 轨迹怎样在 denoising 全程保持正确”。
  • 这篇工作和 sources/2026-04-16-controlnet 形成互补：ControlNet 强调条件接口侧支化，A-STAR 强调测试时 attention 内部治理。
  • 在本库里，它是把 classifier-free / prompt-level guidance 问题继续拆细的关键证据之一。

局限或疑问

  • 它主要改善多概念 prompt 的语义完整性与对象分离，不直接回答更广义的部署成本问题。
  • 测试时额外 loss 优化会带来额外推理开销，因此它更像质量修正手段，而非纯粹加速路线。
  • 方法依赖 attention 可解释性与可操作性，换到不同 backbone 或非 attention 路线时可迁移性仍需观察。

原始链接

  • https://openaccess.thecvf.com/content/ICCV2023/html/Agarwal_A-STAR_Test-time_Attention_Segregation_and_Retention_for_Text-to-image_Synthesis_ICCV_2023_paper.html
  • https://openaccess.thecvf.com/content/ICCV2023/papers/Agarwal_A-STAR_Test-time_Attention_Segregation_and_Retention_for_Text-to-image_Synthesis_ICCV_2023_paper.pdf

相关页面

备注

它在本库中的价值，是把 diffusion guidance engineering 从“模块能否接入”继续推进到“空间控制、attention 治理与训练免费接口能否系统化成立”。

Metadata

{
  "id": "2026-04-16-a-star",
  "type": "source",
  "title": "A-STAR（ICCV 2023）：在测试时直接修 cross-attention 的概念冲突与遗忘",
  "status": "reviewed",
  "created": "2026-04-16",
  "updated": "2026-04-16",
  "venue": "ICCV 2023",
  "ingested_at": "2026-04-16",
  "tags": [
    "near-cvpr-2025",
    "image-generation",
    "diffusion",
    "efficiency",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Aishwarya Agarwal",
    "Srikrishna Karanam",
    "K J Joseph",
    "Apoorv Saxena",
    "Koustava Goswami",
    "B. Srinivasan"
  ],
  "published_at": "2023/01/13",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/ICCV2023/html/Agarwal_A-STAR_Test-time_Attention_Segregation_and_Retention_for_Text-to-image_Synthesis_ICCV_2023_paper.html",
    "https://openaccess.thecvf.com/content/ICCV2023/papers/Agarwal_A-STAR_Test-time_Attention_Segregation_and_Retention_for_Text-to-image_Synthesis_ICCV_2023_paper.pdf"
  ],
  "raw_entry": "raw/ingest/2026-04-16-a-star/",
  "topics": [
    "topics/image-generation",
    "topics/diffusion-models",
    "topics/diffusion-efficiency-engineering"
  ],
  "entities": [],
  "claims": [],
  "questions": []
}