https://blog.tensorplay.cn/ Recent content on TensorPlay 博客 Hugo -- 0.157.0 zh-cn Sun, 11 Oct 2026 16:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-02-dispatch-codegen/ Sun, 11 Oct 2026 16:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-02-dispatch-codegen/ 从 `a + b` 到真正的加法指令，中间隔着契约、代码生成和运行时分发。两份 YAML 定义算子，生成器一次产出全部后端骨架，Dispatcher 用特化键定优先级，无锁分发表完成路由——新增一个算子只需落笔两处。 https://blog.tensorplay.cn/zh/posts/tensorplay-01-tensor-system/ Sun, 11 Oct 2026 15:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-01-tensor-system/ Tensor 只是一块内存加上一串属性。TensorPlay 把它拆成 DataPtr / Storage / TensorImpl / Tensor 四层：move-only 的删除器、缓存分配器、版本号守卫与零拷贝视图，看清「底层字节共享、视图各自独立」这条主线如何落在代码里。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-06/ Sun, 11 Oct 2026 14:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-06/ 全章参考文献清单，以及三个附录：附录 A 源码索引（概念到文件路径与行号的对应表）、附录 B 测量脚本、附录 C 部分习题的提示与解答。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-05/ Sun, 11 Oct 2026 13:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-05/ 内容寻址缓存与并行编译、回退时的语义契约、错误的分层定位；与 PyTorch 2、XLA/MLIR 等系统的设计对比；测量的统计模型、融合收益分解、舍入误差与编译开销摊销；章末小结、习题与编程实验。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-04/ Sun, 11 Oct 2026 12:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-04/ GPU 执行模型与 Triton 编程模型、逐元素与规约内核的三种形态、多规约融合、启动配置实测、矩阵乘模板与尾部融合、CUDA Graphs、注意力分块，以及符号形状与形状守卫。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-03/ Sun, 11 Oct 2026 11:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-03/ 缓冲区的依赖与生命周期、贪心融合算法、缓冲区复用、仿射依赖与分块合法性，以及向量化、缓存分块、内核形态、并行化与包装函数的 CPU 代码生成全流程。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-02/ Sun, 11 Oct 2026 10:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-02/ 算子级图上的反向模式自动微分、保存与重算的最小割模型、联合图，以及降级到循环级中间表示的规则、张量即函数的语义、规约的代数性质与实体化决策。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-01/ Sun, 11 Oct 2026 09:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-01/ 从「即时编译是一种程序特化」出发，讲清 Stax 的守卫与特化键、执行期代理追踪、数据相关控制流的处理，以及改写系统下的代数恒等式、常量折叠、公共子表达式消除与算子级分解。 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-guide/ Sun, 11 Oct 2026 08:00:00 +0800 https://blog.tensorplay.cn/zh/posts/tensorplay-stax-guide/ TensorPlay 默认编译后端 Stax 的系统讲解：六个部分依次覆盖特化与缓存、图捕获、图变换、自动微分与重物化、循环级中间表示、调度与融合、CPU 与 GPU 代码生成、动态形状，最后给出测量的统计模型与习题。 https://blog.tensorplay.cn/zh/posts/talk-linear-attention/ Tue, 10 Mar 2026 12:00:00 +0800 https://blog.tensorplay.cn/zh/posts/talk-linear-attention/ <h2 id="引言">引言</h2> <p>自2017年Vaswani等人提出Transformer架构以来，基于Softmax Attention的注意力机制成为序列建模的核心组件，支撑了大语言模型的快速发展。但Softmax Attention存在<strong>二次计算复杂度</strong>的固有问题，随着序列长度$L$的增加，$O(L^2d)$的计算量和内存开销呈平方级增长，成为长序列建模和大模型高效推理、训练的核心瓶颈。</p>