HulluEdit： Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models

（CVPR 2026）

增强版Nullu

方法

双层特征提取架构

研究表明，大模型的中间层包含了最丰富的物体证据，而深层则容易受到语言先验的干扰。

锚点层（Anchor Layer, $l_a$）：模型在处理图像时，会从中间的锚点层（例如 LLaVA 的第 26 层）提取一次视觉特征矩阵 $V \in \mathbb{R}^{n_v \times d}$（$n_v$ 为视觉词元数，$d$ 为隐藏层维度），并在整个解码过程中缓存该矩阵。
文本缓存（Text Cache, $T$）：模型在解码时，使用滑动窗口策略动态维护一个文本缓存 $T \in \mathbb{R}^{n_t \times d}$，用于聚合之前解码步骤中产生的非视觉隐藏状态，以捕获可能与视觉证据冲突的语言模式。
编辑层（Edit Layer, $l_e$）：干预操作发生在最后一个 Transformer 层，针对该层输出的当前隐藏状态 $h$ 进行编辑。

正交子空间构建

这是 HulluEdit 的核心数学基础，目的是将隐藏空间彻底解耦为三个相互正交的部分。

① 上下文感知的视觉证据子空间 $U$

在不同的生成步骤中，关注的视觉内容是动态变化的。因此，模型根据当前隐藏状态 $h$，通过归一化的余弦相似度为每个视觉词元分配权重：

$$w_i = \text{softmax} \left( \frac{\text{cos}(h, V_i)}{\tau} \right)$$

随后，利用加权奇异值分解（Weighted SVD）提取最重要的前 $r$ 个视觉主成分，构成正交基 $U \in \mathbb{R}^{d \times r}$（满足 $U^\top U = I_r$）：

$$U, \Sigma, V^\top = \text{SVD}(W^{1/2}V), \quad U = U _ {[:, 1:r]}$$

注意SVD里面的V代表视觉特征矩阵。外面的V则是SVD的V。

② 冲突感知的反先验子空间 $P$ 为了在抑制文本先验时绝对不破坏视觉证据，该方法强制反先验子空间必须在视觉子空间的正交补集（Orthogonal complement）中构建。首先将文本缓存 $T$ 投影到视觉特征的补集中：

$$\tilde{T} = T(I_d - UU^\top)$$

然后对其进行 SVD 分解，提取前 $q$ 个主成分：

$$P = \text{SVD}_q(\tilde{T})$$

这里的关键是，由于数学构造，$U^\top P = 0$ 恒成立，这保证了视觉特征与先验特征在空间上绝对分离。

③ 不确定性感知的残差子空间 $R$

定义残差投影矩阵，捕捉既非明确视觉证据又非冲突先验的模糊上下文信息：

$$\Pi_R = I_d - \Pi_U - \Pi_P$$

（其中 $\Pi_U = UU^\top$ 和 $\Pi_P = PP^\top$ 分别是视觉和反先验的投影矩阵）

根据上述构造，当前的隐藏状态 $h$ 可以被完美地正交分解为三部分（能量守恒）：

$$h = h_U + h_P + h_R$$

$$||h||_2^2 = ||h_U||_2^2 + ||h_P||_2^2 + ||h_R||_2^2$$

自适应子空间编辑

在完成分解后，模型需要决定抑制哪些成分以及抑制的强度。

① 评估冲突强弱的指标 (Certificate Metrics)

模型在线计算两个指标，量化当前生成的视觉依赖度与先验冲突度：

视觉确定性比率 (Visual Certainty Ratio, VCR)：$VCR(h) = \frac{||h_U||_2^2}{||h||_2^2 + \epsilon}$
先验冲突比率 (Prior Conflict Ratio, PCR)：$PCR(h) = \frac{||h_P||_2^2}{||h||_2^2 + \epsilon}$

② 动态编辑强度 (Evidence-Aware Strength Scheduling) 根据 VCR 和 PCR，动态计算非视觉抑制强度 $\lambda_n$ 和反先验抑制强度 $\lambda_p$。当视觉证据弱（VCR低）或先验冲突强（PCR高）时，抑制强度会自适应增大。

③ 最小范数闭式解编辑 (Minimum-Norm Closed-Form Editing)

为了寻找在保留视觉证据前提下实现最优抑制的最小扰动 $\delta$，论文构建了一个凸优化问题：

$$\min _ {\delta \in \mathbb{R}^d} \frac{1}{2}||\delta|| _ 2^2 + \frac{\lambda_n}{2}||\Pi_\perp(h+\delta)||_2^2 + \frac{\lambda_p}{2}||\Pi_P(h+\delta)||_2^2$$

通过令梯度为零，可以直接求出最优的编辑后隐藏状态 $h’$ 的闭式解：

$$h’ = h_U + \frac{1}{1+\lambda_n+\lambda_p}h_P + \frac{1}{1+\lambda_n}h_R$$

公式解析：这个闭式解非常优雅。可以看出，视觉成分 $h_U$ 前面的系数是 $1$，意味着视觉证据被 100% 完美保留；而反先验成分 $h_P$ 和残差成分 $h_R$ 的系数都小于 1，根据计算出的冲突强度 $\lambda_p$ 和 $\lambda_n$ 被不同程度地“缩小（shrinkage）”了。

④ 证书感知门控 (Certificate-Aware Gating) 为了防止过度干预导致生成不流畅，最终还会使用一个门控机制 $g(h)$：只有当幻觉风险高时（即 $VCR(h) < \gamma_v$ 或 $PCR(h) > \gamma_p$），$g(h)=1$，才使用编辑后的 $h’$；否则 $g(h)=0$，保留原始的 $h$。最终输出状态为：

$$h _ {\text{final}} = g(h) \cdot h’ + (1 - g(h)) \cdot h$$

通过这一系列严密的数学设计，HulluEdit 实现了在单次前向传播中，精准打击语言幻觉成分，同时构筑了保护视觉证据的数学壁垒。

理论

证据一致性证明

定理：证明编辑后的状态 $h’$ 相比原始状态 $h$，其“视觉确定性比率 (VCR)”必然上升（或不变），而“先验冲突比率 (PCR)”必然下降（或不变）。即证明：$VCR(h’) \ge VCR(h)$ 且 $PCR(h’) \le PCR(h)$。

证明：

定义编辑状态与系数：根据闭式解，编辑后的状态为 $h’ = h_U + \alpha_P h_P + \alpha_R h_R$。其中抑制系数定义为 $\alpha_P = \frac{1}{1+\lambda_n+\lambda_p}$ 和 $\alpha_R = \frac{1}{1+\lambda_n}$。由于 $\lambda_n, \lambda_p \ge 0$，因此这两个系数严格满足 $0 < \alpha_P, \alpha_R \le 1$。
能量（平方范数）分解：由于 $h_U$、$h_P$、$h_R$ 相互正交，满足 $h_U^\top h_P = h_U^\top h_R = h_P^\top h_R = 0$。原状态的平方范数为：$||h||_2^2 = ||h_U||_2^2 + ||h_P||_2^2 + ||h_R||_2^2$。编辑后状态的平方范数为：$||h’||_2^2 = ||h_U||_2^2 + \alpha_P^2||h_P||_2^2 + \alpha_R^2||h_R||_2^2$。因为系数都小于等于1，显然可以得出总能量缩小（或不变）：$||h’||_2^2 \le ||h||_2^2$。
证明 VCR 上升：编辑操作中 $h_U$ 的系数是 1，这意味着视觉成分毫无损耗：$||h’_U||_2^2 = ||h_U||_2^2$。代入 VCR 的定义：

$$VCR(h’) = \frac{||h’_U||_2^2}{||h’||_2^2} = \frac{||h_U||_2^2}{||h’||_2^2}$$

因为分母变小了（$||h’||_2^2 \le ||h||_2^2$），分子没变，所以分数必然变大：

$$VCR(h’) \ge \frac{||h_U||_2^2}{||h||_2^2} = VCR(h)$$
证明 PCR 下降：编辑后的先验成分能量为：$||h’_P||_2^2 = \alpha_P^2||h_P||_2^2 \le ||h_P||_2^2$。代入 PCR 定义并计算编辑前后 PCR 的比值：

$$\frac{PCR(h’)}{PCR(h)} = \frac{\frac{\alpha_P^2 ||h_P||_2^2}{||h’||_2^2}}{\frac{||h_P||_2^2}{||h||_2^2}} = \alpha_P^2 \cdot \frac{||h||_2^2}{||h’||_2^2}$$

通过分析这一比值可知，最终会满足：

$$\frac{PCR(h’)}{PCR(h)} \le 1 \Rightarrow PCR(h’) \le PCR(h)$$

（注：当 $\alpha_P < 1$ 且 $||h_P||_2^2 > 0$ 时，该不等式严格成立）。

无干涉性证明

定理目标：证明在相互正交的子空间中，对某一个子空间进行编辑，绝对不会影响到其他子空间。

详细推导步骤：

确认正交前提：在构建阶段，严格保证了三个子空间的基矩阵互相正交：

$$U^\top P = 0, \quad U^\top R = 0, \quad P^\top R = 0$$
定义投影矩阵：

$$\Pi_U = UU^\top$$

$$\Pi_P = PP^\top$$

$$\Pi_R = I - \Pi_U - \Pi_P$$
证明投影矩阵乘积为零（即互相独立）：
- 视觉与先验互相独立：$\Pi_U \Pi_P = UU^\top PP^\top = U(U^\top P)P^\top = 0$ （因为 $U^\top P=0$）。
- 视觉与残差互相独立：$\Pi_U \Pi_R = UU^\top (I - UU^\top - PP^\top) = UU^\top - UU^\top UU^\top - UU^\top PP^\top$。因为 $U^\top U = I$，这就变成了 $\Pi_U - \Pi_U - 0 = 0$。
- 先验与残差互相独立：$\Pi_P \Pi_R = PP^\top (I - UU^\top - PP^\top) = \Pi_P - 0 - \Pi_P = 0$。

由于任意两个投影矩阵相乘都为零矩阵，这就从数学上彻底证明了：作用在 $\Pi_P$ 上的任何缩小操作（干预），在经过 $\Pi_U$ 投影观察时都等于 $0$，即对视觉特征绝对没有干涉。

稳定性保持证明

定理：证明编辑函数是一个“收缩映射（Contractive mapping）”，其 Lipschitz 常数 $L \le 1$。这保证了在连续生成每一个词元（Token）时，干预操作不会导致误差被级联放大。

证明：

定义变换函数：将 HulluEdit 的编辑操作写成一个线性变换 $T: \mathbb{R}^d \rightarrow \mathbb{R}^d$：

$$T(h) = \Pi_U h + \alpha_P \Pi_P h + \alpha_R \Pi_R h$$
利用系数特性证明收缩性：对于任意两个不同的输入状态向量 $h_1$ 和 $h_2$，由于 $\alpha_P$ 和 $\alpha_R$ 都在 $(0, 1]$ 范围内，且操作是在正交空间内进行的，这个线性变换的作用是单纯地“压缩”某些维度，而绝不会“拉伸”任何维度。因此，经过变换后的两个向量之间的距离，必然小于或等于它们原始的距离：

$$||T(h_1) - T(h_2)||_2 \le ||h_1 - h_2||_2$$
得出结论：根据 Lipschitz 连续性的定义，上述不等式证明了该变换的 Lipschitz 常数 $L \le 1$。这在理论上保障了模型在长文本生成（Sequential decoding）过程中的数值稳定性和生成质量。