Causally-Grounded Dual-Path Attention Intervention for Object Hallucination Mitigation in LVLMs
（AAAI 2026）
motivation
方法
物体幻觉过程的因果建模 (SCM)
为了从根本上理解幻觉的成因，作者构建了一个结构因果模型 (Structural Causal Model, SCM)，将语言解码器中的注意力机制解耦为两个核心“介体”（Mediators）：视觉注意力 $A_V$ 和 文本注意力 $A_T$。
变量定义：模型包含视觉输入 $X_V$、文本输入 $X_T$、不可观测的视觉先验偏见 $P_V$、语言先验偏见 $P_T$ 以及最终输出 $Y_T$。
因果路径：模型中存在四条主要因果路径：$X_V \rightarrow A_V \rightarrow Y_T$、$P_V \rightarrow A_V \rightarrow Y_T$、$X_T \rightarrow A_T \rightarrow Y_T$ 以及 $P_T \rightarrow A_T \rightarrow Y_T$。
干预机制：由于先验偏见 $P_V$ 和 $P_T$ 是无法直接观测和操控的，作者选择对其下游的介体 $A_V$ 和 $A_T$ 施加“软干预”（采用因果推断中的 $do$ 演算）：
$$do(A_V=A_V^), \quad do(A_T=A_T^)$$
通过评估干预效果，作者发现：增强视觉注意力 $A_V$ 能有效减少幻觉，而增强文本注意力 $A_T$ 则会加剧幻觉。
测量指标：视觉至文本注意力贡献比 (VTACR)
为了在解码过程中实时衡量这两种注意力的失衡程度，论文提出了一项新指标 VTACR (Visual-to-Textual Attention Contribution Ratio)。在生成当前 Token 时，第 $l$ 层的指标计算如下：
视觉 Token 注意力贡献 ($\nu^{(l)}$)：
$$ \nu^{(l)} = \frac{1}{N|\mathcal{V}|} \sum _ {j \in \mathcal{V}} \sum _ {i=1}^{N} A _ {i,j}^{(l)} $$
其中 $N$ 是注意力头数，$\mathcal{V}$ 是视觉 Token 的索引集合，$A _ {i,j}^{(l)}$ 是第 $l$ 层第 $i$ 个注意力头的视觉注意力权重。
文本 Token 注意力贡献 ($\tau^{(l)}$)：
$$ \tau^{(l)} = \frac{1}{N|\mathcal{T}|} \sum _ {k \in \mathcal{T}} \sum _ {i=1}^{N} A _ {i,k}^{(l)} $$
其中 $\mathcal{T}$ 是文本 Token（包含查询语句和历史生成记录）的索引集合。
层级 VTACR：
$$ VTACR^{(l)} = \frac{\nu^{(l)}}{\tau^{(l)}} $$
该比率衡量了当前层中视觉信息相对于文本信息的贡献程度。产生幻觉的 Token 往往伴随着极低的 VTACR 值（即模型过度依赖历史文本，忽视了图像基础）。
自适应注意力调制
基于上述发现，Owl 框架引入了动态调制机制。对于每一层 $l$，作者预先统计了幻觉样本的 VTACR 密度分布，并将其设定的分位数（如 7 分位数）作为基础阈值 $V_b^{(l)}$。
在自回归生成过程中，如果当前 Token 的 $V^{(l)} < V_b^{(l)}$，说明存在潜在的幻觉风险（视觉基础不足），此时模型会自动计算一个调节惩罚项 $\tilde{T}^{(l)}$，并增大干预系数：
计算调节项：
$$ \tilde{T}^{(l)} = \mathbb{I}(V^{(l)} < V_b^{(l)}) \cdot \min \left( T \cdot \frac{V^{(l)} - V_b^{(l)}}{V_b^{(l)}}, T \right) $$
其中，$T$ 是预设的调节系数，$\mathbb{I}(\cdot)$ 是指示函数（仅在风险出现时激活）。
更新干预系数：
$$ \tilde{\alpha}^{(l)} = \alpha + \tilde{T}^{(l)} $$
$$ \tilde{\beta}^{(l)} = \beta + \tilde{T}^{(l)} $$
其中 $\alpha$ 和 $\beta$ 分别为视觉和文本干预的基础强度。这种机制允许模型在检测到幻觉风险时，动态地加强干预，而对基础良好的 Token 避免不必要的干扰。
双路径干预与对比解码
在计算出上述自适应调制系数后，Owl 构建了两条完全相反的解码路径，以形成强烈的对比，进而隔离并消除幻觉：
视觉偏好路径 (Visual-favored Path)：放大图像特征，压制文本先验，迫使模型基于图像进行推理。
增强视觉注意力（针对 $j \in \mathcal{V}$）：
$$ \tilde{A}\ast{i,j}^{(l)} = A\ast{i,j}^{(l)} + \tilde{\alpha}^{(l)} \cdot |A _ {i,j}^{(l)}| $$
衰减文本注意力（针对 $k \in \mathcal{T}$）：
$$ \tilde{A}\ast{i,k}^{(l)} = A\ast{i,k}^{(l)} - \tilde{\beta}^{(l)} \cdot |A _ {i,k}^{(l)}| $$
文本偏好路径 (Text-favored Path)：刻意削弱视觉基础，激发模型的“文本惯性”，以此来模拟并暴露幻觉。
衰减视觉注意力（针对 $j \in \mathcal{V}$）：
$$ \tilde{A}\ast{i,j}^{(l)} = A\ast{i,j}^{(l)} - \tilde{\alpha}^{(l)} \cdot |A _ {i,j}^{(l)}| $$
增强文本注意力（针对 $k \in \mathcal{T}$）：
$$ \tilde{A}\ast{i,k}^{(l)} = A\ast{i,k}^{(l)} + \tilde{\beta}^{(l)} \cdot |A _ {i,k}^{(l)}| $$
对比融合解码 (Contrastive Decoding Fusion)：最终，模型在预测概率阶段利用这两条路径的 Logits 分布进行对比计算。通过减去文本偏好路径的概率，惩罚容易产生幻觉的 Token，奖励基于真实视觉生成的 Token：
$$ P _ {DCD}(Y|X_V, X_T) = \text{Softmax} \Big( (1+\lambda) \cdot \log p _ {\theta}(y|X _ {V\uparrow}, X _ {T\downarrow}) - \lambda \cdot \log p _ {\theta}(y|X _ {V\downarrow}, X _ {T\uparrow}) \Big) $$
其中，$(X _ {V\uparrow}, X _ {T\downarrow})$ 代表视觉偏好路径的输出分布，$(X _ {V\downarrow}, X _ {T\uparrow})$ 代表文本偏好（幻觉易发）路径的输出分布，$\lambda$ 是可调节的对比惩罚强度参数。
实验
