Ecotransformer-无需乘法的注意力机制 （arxiv 2025）2507.20096 众所周知，注意力为$softmax(\frac{QK^T}{\sqrt{D_k}})V$。 2025-08-07 #深度学习
可训练动态掩码稀疏注意力 （arxiv 2025） 《Trainable Dynamic Mask Sparse Attention》 Smalldoge出品，该组织专注于小型语言模型，专注于效率和易用性。 2025-08-05 #深度学习
Attention Sink Attention Sink是指某些（初始）token具有较大的注意力得分。最早明确提出于StreamingLLM (2309.17453)。 2025-07-26 #深度学习
OATS-通过稀疏与低秩分解实现异常值感知的剪枝 （ICLR 2025) 算法OATS假定模型权重$W\approx S+L$，其中S为稀疏，$||S_0||\le k$；L为低秩，$Rank(L)\le r$。 2025-07-24 #深度学习 #大模型
通过VIB减少大型视觉-语言模型中的幻觉现象 （Corr 2025/ AAAI 2025） 《Mitigating Hallucinations in Large Vision-Language Models by Adaptively Constraining Information Flow》 2025-07-20 #深度学习 #多模态 #大模型