标签

Attention

共 1 篇文章

2026

09-092026

剖析 FA 与 FA-2 两篇论文中的 IO 优化、Softmax 与 GPU 并行设计。

09-032026

多头注意力的计算流程、维度变化及 Flash Attention 优化原理。

08-162026

将 Hugging Face 内部隐藏的 Qwen TransformerBlock 拆成可阅读、可测试、未来可替换成 Triton/CUDA Kernel 的实现

08-142026

将 Hugging Face generate() 隐藏起来的核心生成流程拆解出来，便于理解每阶段的具体行为。

08-132026

以一个具体的例子讲解 LLM 推理的流程。

08-122026

Triton 实现 Softmax Attention 算子的基本思路。重点思考怎样不用存完整 attention matrix，仍然精确算出 softmax attention.