分类

人工智能

共 2 篇文章

2026

09-112026

从随机梯度下降的局限性引出 Adam 优化器，并分析其实现机制、优势与限制。

09-092026

大模型训练的本质不只是把计算摊到更多 GPU 上，而是把 Transformer 的不同维度映射到不同 GPU，并控制由此产生的通信、显存占用、流水线空泡与负载不均衡。

09-092026

剖析 FA 与 FA-2 两篇论文中的 IO 优化、Softmax 与 GPU 并行设计。

09-082026

大规模 MoE 的架构、路由、通信与 Scaling。

09-072026

概述语言模型的缩放定律与计算最优训练两篇论文，强调模型参数量、训练数据量与算力合理配置。

09-032026

多头注意力的计算流程、维度变化及 Flash Attention 优化原理。

08-162026

将 Hugging Face 内部隐藏的 Qwen TransformerBlock 拆成可阅读、可测试、未来可替换成 Triton/CUDA Kernel 的实现

08-142026

将 Hugging Face generate() 隐藏起来的核心生成流程拆解出来，便于理解每阶段的具体行为。

08-132026

以一个具体的例子讲解 LLM 推理的流程。

12-132025

从二维数据矩阵出发推导主成分分析，说明中心化、协方差矩阵特征分解与数据投影如何提取主要变化方向并实现降维。