专栏

论文精选

共 3 篇文章，请按顺序阅读

  1. 第 1 篇
    模型哲学

    语言模型缩放定律与计算最优训练

    概述语言模型的缩放定律与计算最优训练两篇论文，强调模型参数量、训练数据量与算力合理配置。

    阅读 →
  2. 第 2 篇
    大模型技术

    从 Switch Transformer 到 GLaM

    大规模 MoE 的架构、路由、通信与 Scaling。

    阅读 →
  3. 第 3 篇
    大模型技术

    FlashAttention：从 IO-Aware Attention 到 GPU Work Partitioning

    剖析 FA 与 FA-2 两篇论文中的 IO 优化、Softmax 与 GPU 并行设计。

    阅读 →