归档

文章归档

共 9 篇文章

2026

09-112026

从随机梯度下降的局限性引出 Adam 优化器，并分析其实现机制、优势与限制。

09-092026

大模型训练的本质不只是把计算摊到更多 GPU 上，而是把 Transformer 的不同维度映射到不同 GPU，并控制由此产生的通信、显存占用、流水线空泡与负载不均衡。

09-092026

剖析 FA 与 FA-2 两篇论文中的 IO 优化、Softmax 与 GPU 并行设计。

09-082026

大规模 MoE 的架构、路由、通信与 Scaling。

09-072026

概述语言模型的缩放定律与计算最优训练两篇论文，强调模型参数量、训练数据量与算力合理配置。

09-032026

NVIDIA GPU 训练性能下降、NCCL Hang、GPU 掉卡、NVLink 性能异常、单机或多机通信异常等问题的排故方法。

09-032026

多头注意力的计算流程、维度变化及 Flash Attention 优化原理。

08-312026

从最朴素的实现方法开始，引入常量缓存优化滤波器读取，进一步使用平铺卷积算法减少带宽消耗。

08-262026

从最朴素的实现方法开始，逐步优化，并实现 Online Softmax。

08-262026

从最朴素的实现方法开始，逐步优化，提升算数强度。