Cross-Modal Attention Calibration for LVLM Hallucination Mitigation
（CVPR 2026）
该论文提出了一种无需训练的模态间相关性校准解码框架，通过跨模态价值增强解码和内容驱动的注意力修正机制，有效缓解了大型视觉语言模型中由单模态过度依赖和虚假跨模态相关性引发的生成幻觉问题。
motivation
历史方法忽略了由“虚假的跨模态相关性（spurious inter-modality correlations）”引起的幻觉。
方法
跨模态价值增强解码 (CMVED)
现有方法通常通过直接给视觉或文本输入加噪来构建“失真分布”，这不仅破坏了单模态内部的信息交流，还抹除了跨模态的相关性。CMVED 的思路是：有选择地屏蔽高权重的跨模态注意力对应的 Value 向量，从而放大“虚假的跨模态相关性”，然后通过对比解码（Contrastive Decoding）来惩罚并削弱这些幻觉。
步骤解析：
提取与生成掩码：首先，从注意力 logits $A^l$ 中单独截取出“图像 Token 到文本 Token”的跨模态片段 $A^l _ {cross}$。然后，计算该片段中低于其均值的注意力权重，生成一个二值掩码（Mask）$M _ {cross}$：
$$M _ {cross} = \mathbb{I}(A^l _ {cross} < \mu(A^l _ {cross}))$$
其中 $\mu(\cdot)$ 表示求均值操作，$\mathbb{I}$ 为指示函数。随后将 $M _ {cross}$ 用零填充至全局维度，得到全局掩码 $M$。
特征失真操作：利用掩码 $M$，CMVED 将被赋予高注意力权重的 Value 向量替换为其自身的维度均值 $\mu(V)$，而保留低权重的部分。失真后的注意力输出 $\tilde{O}$ 的计算公式变为：
$$\tilde{O} = (M \cdot A)\mu(V) + ((1-M) \cdot A)V$$
这一操作破坏了原本正确的、强关联的视觉-文本特征，使得基于 $\tilde{O}$ 预测出的结果极易受到虚假相关性的误导（即故意引导模型产生幻觉）。
对比解码：模型基于正常的输出特征 $O$ 得到正常预测 logits $l_t$，同时基于失真特征 $\tilde{O}$ 得到失真预测 logits $\tilde{l}_t$。最终生成下一个 Token 的概率分布通过两者的对比计算得出：
$$p_\theta(Y_t|T,X) = \text{softmax}((1+\alpha)l_t - \alpha\tilde{l}_t)$$
其中超参数 $\alpha$ 控制着对比的惩罚强度。通过减去失真分布，模型有效抑制了单模态过度依赖和跨模态虚假关联带来的幻觉。
内容驱动的注意力修正 (CDAR)
语言模型在处理图像时，受位置编码 (Position Embeddings) 的影响，文本 Token 在计算注意力时会天然地更关注距离它较近的“排在后方的图像 Token”，从而忽略了排在前面的图像内容（位置偏见）。CDAR 模块旨在强制模型关注图像的实际内容，而非它们在序列中的位置。
步骤解析：
重置位置索引：在第一层注意力层中，假设系统提示词的长度为 $m_b$，图像 Token 数量为 $n$。CDAR 将所有图像 Token 的位置索引强制统一归一化为同一个常量（$m_b+1$），构建了全新的修正位置索引 $P^c$：
$$P^c = [{i} _ {i=1}^{m_b}, {m_b+1} _ {i=1}^n, {i+1} _ {i=m_b+1}^m]$$
注意力融合：利用修正后的位置索引 $P^c$ 应用旋转位置编码 (RoPE)，计算得到消除了图像内部位置差异的注意力 logits $A^c$。接着，引入超参数 $\gamma$ 将其与原始的 logits $A^l$ 在跨模态片段上进行融合：
$$\tilde{A}^l _ {i,j} = \gamma A^c _ {i,j} + (1-\gamma) A^l _ {i,j}$$
（注：此融合仅在跨模态注意力部分，即图像对文本的注意力范围内生效）
通过 CDAR，模型既保留了图像作为整体在输入序列中的全局位置，又消除了图像内部各个 Patch 之间因位置先后造成的注意力倾斜，从而有效缓解了因视觉内容遗漏而引发的幻觉。最终，经过 CDAR 修正的注意力 logits 会被送入 CMVED 中执行进一步的对比解码。