简单来说，他们提出的原生稀疏注意力（NSA）机制，通过算法与硬件的协同优化，直接把长文本处理速度提升了11倍。更厉害的是，性能不仅没降反而还超越了传统的全注意力模型。 长久以来，大语言模型处理长文本就像是戴着镣铐跳舞。传统的全注意力机制计算复杂度随序列长度呈平方级增长，处理64k长度的文本时，注意力计算竟然要占到总延迟的70-80%。 压缩注意力，负责捕捉粗粒度的全局信息模式，就像快速浏览全文抓住大意；选择性注意力，则专注于序列中最重要的词块，相当于精读关键段落；滑动注意力，负责获取局部的上下文信息，确保细节不丢失。 解码阶段速度提升11.6倍，前向传播提升9倍，反向传播也有6倍的加速，无论是模型推理还是训练，都能获得实实在在的效率提升。 在通用基准测试中，采用NSA预训练的27B参数模型在9个评测指标中有7个超越了全注意力基线。特别是在推理相关的基准测试上，DROP提升了0.042，GSM8K提升了0.034，显示出稀疏注意力在强制模型聚焦关键信息方面的独特优势。 长文本处理能力的测试结果更是亮眼。在64k上下文的”大海捞针”测试中，NSA在所有位置都实现了完美的检索准确率。在LongBench基准测试上，NSA取得了0.469的平均分，不仅超越了全注意力基线（+0.032），更是大幅领先其他稀疏注意力方法。 特别值得一提的是，在需要复杂推理的多跳问答任务上，NSA相比全注意力分别提升了0.087（HPQ）和0.051（2Wiki）；在代码理解任务（LCC）上提升了0.069；在段落检索任务（PassR-en）上提升了0.075。 研究了大型语言模型的“弹性”，指模型经过对齐训练（让模型符合人类价值观、减少有害输出）后，很容易因为后续的微调而变回预训练时的状态，就像弹簧被拉伸后会反弹一样。 这意味着现有的对齐方法可能只是表面上改变了模型，不够稳固。未来需要更有效的对齐技术，才能让模型真正稳定地符合人类需求，尤其是在开源模型中，要避免恶意微调轻易破坏安全机制。 研究了大模型“公平性” 上的一个新视角 “差异感知”。简单来说，就是模型应该在合适的场景下对不同群体做出区分，而不是一味地 一视同仁。 研究发现那些在传统公平性测试中表现好的模型，在 “差异感知” 上得分并不高；模型能力越强（比如 MMLU 分数越高），情境感知能力越好，但差异感知能力未必提升；现有的 “去偏见” 方法（比如提示模型 “保持无偏见”）反而会让模型更 无视差异，甚至把正确答案改错。 这篇论文指出大模型生成回答时的采样机制与人类决策类似，包含描述性成分（反映概念的统计常态）和规定性成分（隐含的概念理想状态）。 研究通过实验验证，无论是新创概念还是现有概念（涵盖 10 个领域的 500 个概念），LLMs 生成的样本都会偏离统计平均值，向其认为的 “理想值” 偏移，且这种现象在 15 种不同模型中均显著存在。案例研究显示，这种偏向可能导致医疗等领域的有偏决策，引发伦理问题。
