First Logit Boosting： Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models

（CVPR 2026）

方法

模型生成的第一个 Token（词元）是紧跟在视觉 Token 之后的，此时视觉注意力最强，受语言先验的污染最小，因此其 Logit（未归一化的预测分数）包含了最真实的视觉信息。
$$
l_0 = logit_\theta(y | x, v)
$$
拿到 $l_0$ 后，最直接的想法是把它加到后续每一步的 Logit 中。但是，由于模型对视觉信息的遗忘（长期衰退）是随着句子长度增加而逐渐加剧的，因此 FLB 引入了一个时间权重函数 $w_t$ 来控制 $l_0$ 的注入强度：

$$y_t \sim \text{softmax}[logit_\theta(y | v, x, y_{<t}) + w_t l_0]$$

为了精确对抗随着时间 $t$ 递增的衰退现象，作者设计了如下的指数递增权重函数：

$$w_t = \gamma(1 - e^{-\lambda t})$$

• $\gamma$：表示最大缩放系数（实验中往往设为 0.3），决定了增强的上限。
• $\lambda$：控制权重随着生成步数 $t$ 增加而上升的速率（实验中设为 0.05）。

物理意义：在刚开始生成时（$t$ 较小），模型自身视觉记忆还很强，$w_t$ 较小，FLB 介入少；随着句子越来越长（$t$ 变大），模型快要开始“胡编乱造”时，$w_t$ 逐渐逼近 $\gamma$，强行用 $l_0$ 中的视觉信息纠正模型的注意力。

自适应合理性约束

如果仅仅简单粗暴地把 $l_0$ 加进去，会面临一个严重问题：$l_0$ 是第一步的预测分布（往往预测出冠词如 “The”, “A”），如果强行加到句子的中间，可能会打破语法连贯性，导致模型在句中莫名其妙地生成大写的“The”。

为了保证生成的语言依然流畅，FLB 借鉴了 VCD 方法中的一种截断机制，构建了一个合理候选集 $\mathcal{V}{head}(y{<t})$：

$$\mathcal{V}{head}(y{<t}) = {y_t \in \mathcal{V} : p_\theta(y_t | v, x, y_{<t}) \ge \beta \max_w p_\theta(w | v, x, y_{<t})}$$

• $\mathcal{V}$ 代表模型总词表。
• $p_\theta$ 是模型在当前步原始的概率预测。
• $\beta$ 是一个控制阈值的超参数（通常设为 0.1）。
• 物理意义：在当前步骤中，如果一个词元的原始概率连最高概率候选词的 $10%$ 都达不到，就被认为是不符合当前上下文语法的“不合理词元”。

对于不在这候选集里的词，FLB 直接将其概率强制设为零（$p_{FLB}(y_t|v,x) = 0$）。这相当于：FLB 只在符合语法的候选词中，去提拔那些符合初始视觉定位 ($l_0$) 的词元。

最终的 FLB 解码规则

将上述所有步骤结合，FLB 最终的解码公式为：

$$y_t \sim \text{softmax}[logit_\theta(y | x, v, y_{<t}) + w_t l_0]$$

条件限制：$y_t \in \mathcal{V}{head}(y{<t})$。

实验

使用LLaVA-1.5和 InstructBLIP