https://blog.tensorplay.cn/ Recent content on TensorPlay 博客 Hugo -- 0.157.0 zh-cn Tue, 10 Mar 2026 12:00:00 +0800 https://blog.tensorplay.cn/zh/posts/talk-linear-attention/ Tue, 10 Mar 2026 12:00:00 +0800 https://blog.tensorplay.cn/zh/posts/talk-linear-attention/ <h2 id="引言">引言</h2> <p>自2017年Vaswani等人提出Transformer架构以来，基于Softmax Attention的注意力机制成为序列建模的核心组件，支撑了大语言模型的快速发展。但Softmax Attention存在<strong>二次计算复杂度</strong>的固有问题，随着序列长度$L$的增加，$O(L^2d)$的计算量和内存开销呈平方级增长，成为长序列建模和大模型高效推理、训练的核心瓶颈。</p>