ViT³： Unlocking Test-Time Training in Vision

（CVPR 2026）

motivation

传统机制的局限性：视觉Transformer（ViT）在现代计算机视觉任务中占据了核心地位，但其使用的Softmax注意力机制具有关于序列长度的二次方计算复杂度 $\mathcal{O}(N^2)$。这一瓶颈使得处理长视觉序列的计算成本极其高昂。

线性注意力的不足：为了打破二次方复杂度的障碍，研究人员探索了线性复杂度 $\mathcal{O}(N)$ 的替代方案，如线性注意力（Linear Attention）。

将$(QK^T)V$到$Q(K^TV)$。

然而，线性注意力受限于有限的线性状态和简单的压缩方式，往往会导致表达能力不足，在实践中性能较差。

TTT的潜力与挑战：近期出现的测试时训练（TTT）将整个注意力操作重新表述为一个在线学习（online learning）过程。在测试时，它利用键值对（key-value pairs）作为“微型数据集”来训练或构建一个紧凑的内部模型。这种方法虽然具有线性复杂度且设计空间广阔，但关于如何设计强大的视觉TTT模型，目前仍缺乏系统性的理解和实践指导。

六大实践洞察

为了填补这一空白，作者对视觉序列建模中的TTT设计空间进行了系统的实证研究，涵盖了内部训练（损失函数、学习率、批大小、训练轮数）和内部模型设计（架构和大小）两个基本方面，并总结出了六个核心洞察：

洞察 1（损失函数）：

如果损失函数的混合二阶导数 $\frac{\partial^{2}\mathcal{L}}{\partial\hat{V}\partial V}$ 为零或消失（例如MAE/L1损失或Smooth L1损失），则不适合用于TTT，因为这会切断外部循环的梯度信号。点积损失、MSE和RMSE则表现良好。

洞察 2（批大小与轮数）：

在视觉任务中，将所有 $N$ 个键值对作为一个完整批次（Batch size $B = N$）进行单轮（1 Epoch）内部训练，效果最佳。

解释：

因果偏差（Causal Bias）的错位：在之前的语言建模 TTT 研究中，小批量（Mini-batch）序贯训练效果很好，因为语言具有强烈的因果顺序，前面批次的参数更新可以顺理成章地影响后面批次，或者被后面批次覆盖。然而，图像数据本质上是非因果的（全局平等的像素）。在视觉中强行引入这种序贯小批量更新，会产生不必要的因果偏差，导致性能下降。
轮数影响：虽然多轮（多 Epoch）全批次训练能微小提升准确率，但会显著降低模型的吞吐量（FPS），并可能引入训练不稳定性，因此单轮更新是效率和精度的最佳平衡。

洞察 3（学习率）：

使用相对较大的内部学习率（论文中设定为1.0）是非常有效的。较小的学习率会导致内部权重更新不足，而过大的学习率会引起训练不稳定。

论文指出，在某些特定情况（如内部模型是纯线性层，且使用 MSE 损失）下，内部学习率 $\eta$ 在数学上等价于对输入 $K$ 和 $V$ 的缩放。梯度更新项可以写为： $$ \eta \cdot \frac{\partial \mathcal{L}(V, \hat{V})}{\partial W} = \eta \cdot K^\top(KW - V) = \tilde{K}^\top(\tilde{K}W - \tilde{V}) $$ 其中 $\tilde{K} = \sqrt{\eta}K$，$\tilde{V} = \sqrt{\eta}V$。虽然数学上可以通过缩放 $K$ 和 $V$ 吸收掉 $\eta$，但在实际深度学习架构中，让模型自动学习到这种完美的缩放比例极其困难，且可能与网络的初始化规模或归一化层发生冲突。因此，显式地将 $\eta$ 设置为一个较大的超参数（1.0）是非常必要的。

洞察 4（模型容量）：

增加内部模型的容量（如增加MLP的隐藏维度）可以持续提升模型性能。这是TTT优于传统线性注意力的一大关键优势，因为它允许使用更复杂的非线性模块。传统线性注意力受限于数学形式，只能等效于一个 $d \times d$ 的固定线性矩阵。而 TTT 允许内部模型是更宽的非线性模块，从而拥有更强大的信息压缩和表达能力。

洞察 5（模型深度）：

在当前的TTT设置下，较深的内部模型（如三层MLP）会遭遇优化困难，导致训练损失变高、测试准确率下降（欠拟合）。相反，单层或受约束的特殊双层架构表现更好。

因为深度带来的优化困难导致了“欠拟合”。为了证明这一点：

损失曲线观察：实验表明，内部模型越深，其训练损失反而越高，说明深层网络未能有效拟合这些微型数据集。
受限结构验证：作者设计了一个“受限的双层 MLP” $\mathcal{F}_W(x) = \text{SiLU}(\text{FC}(x))$，这相当于把两层 MLP 的第二层强行固定为恒等映射（Identity）。结果发现，这种受限的退化网络准确率反而从 78.9% 提升到了 79.4%。这充分证明了深层模型在 TTT 的内外部嵌套优化中容易出现外层初始化难（初始权重 $W_0$ 难以端到端学习）和内层梯度消失/爆炸的问题。