归档

文章归档

共 9 篇文章

2026

09-032026

多头注意力的计算流程、维度变化及 Flash Attention 优化原理。

08-312026

从最朴素的实现方法开始，引入常量缓存优化滤波器读取，进一步使用平铺卷积算法减少带宽消耗。

08-262026

从最朴素的实现方法开始，逐步优化，并实现 Online Softmax。

08-262026

从最朴素的实现方法开始，逐步优化，提升算数强度。

08-162026

将 Hugging Face 内部隐藏的 Qwen TransformerBlock 拆成可阅读、可测试、未来可替换成 Triton/CUDA Kernel 的实现

08-142026

将 Hugging Face generate() 隐藏起来的核心生成流程拆解出来，便于理解每阶段的具体行为。

08-132026

以一个具体的例子讲解 LLM 推理的流程。

08-122026

Triton 实现 Softmax Attention 算子的基本思路。重点思考怎样不用存完整 attention matrix，仍然精确算出 softmax attention.

08-102026

Git Fork 后如何同步上游仓库，同时保留自己的提交

08-092026

浮点矩阵乘法的数值结果不仅取决于代数公式，还显著取决于求和树、分块方式和计算精度路径。