Talk Linear Attention
引言 自2017年Vaswani等人提出Transformer架构以来，基于Softmax Attention的注意力机制成为序列建模的核心组件，支撑了大语言模型的快速发展。但Softmax Attention存在二次计算复杂度的固有问题，随着序列长度$L$的增加，$O(L^2d)$的计算量和内存开销呈平方级增长，成为长序列建模和大模型高效推理、训练的核心瓶颈。 ...
Posts
嘉豪：当真诚被解构，我们如何好好说话
“嘉豪”从一个少年的模仿变成网络梗，也映照出年轻人如何用自嘲保护真诚。本文从校园记忆、网络文化与诗歌谈起，讨论如何在消解一切的时代里保留坦荡、勇敢和好好说话的能力。