Visual Multi-Agent System： Mitigating Hallucination Snowballing via Visual Flow

（ICLR 2026）

motivation

这篇论文探讨了基于视觉语言模型（VLMs）的多智能体系统（MAS）中存在的一个新挑战，即“多智能体视觉幻觉雪球效应”（multi-agent visual hallucination snowballing）。 该效应的产生机制如下：

• 在单个智能体中产生的幻觉，会因为后续智能体过度依赖“文本流”（textual flow）来传递视觉信息而被不断放大。
• 现有的文本传递方式会压缩并选择性地强调视觉特征，导致后续智能体将前序智能体产生的错误文本断言视为权威，从而产生滚雪球般的幻觉放大效应。
• 仅仅减少单个智能体的内部幻觉（以往大部分研究的重点）无法完全解决这种在多智能体交互间传播的幻觉问题。

分析

为了探究视觉失真在多智能体间是如何发生的，作者对注意力机制（涵盖轮次、层级和词元层面）进行了详细诊断：

• 随着智能体协作轮次的增加，模型分配给视觉词元（vision tokens）的平均注意力会逐渐减少，而分配给指令词元（instruction tokens）的注意力则相应增加。
• 在模型的中间层（middle layers）中，存在一小部分具有“单峰注意力特征”（unimodal attention peak）的视觉词元，这些词元能够最好地保留视觉特定信息。
• 在浅层和深层网络中，所有的视觉词元几乎同样重要或同样不重要，但在中间层，具有单峰特征的视觉词元在视觉与文本的信息交互中起着至关重要的作用。

• 然而，这种极其重要的单峰特征在更深轮次的智能体中会逐渐消失，这表明文本信息流逐渐占据主导地位，视觉信号被忽略，进而导致了幻觉雪球效应。