Skip to content

Group 1A: Numerical Foundations and Scale Estimation | 1A: 数值基础与算力估算

本组解决“先要算什么”的问题,目标是建立显存、精度、参数量和 FLOPs 的底层直觉。

Group Overview | 组概览

这一组先把“算什么、怎么算、怎么算得快不快”说清楚,是 Part 1 的数量级底座,也是不少后续章节的共同前提。阅读顺序和 Part 级前导路径见 intro

Group Asset Overview | 组内资产总览

核心职责Q 数代码块数已有码的 Q待补代码的 Q定位
01建立显存与精度账本直觉612全部样板页
02估清参数量与 FLOPs 数量级48全部已对齐样板
21判断量化何时值得做58全部基础节
22看清 MoE 的参数与计算分离48全部基础节

Learning Path | 学习路径

  • 主线先看 0102,把数据格式、精度、参数量和 FLOPs 的数量级先立住。
  • 同类章节再看 2122,把量化和 MoE 作为主线的变体继续补完。

Next Steps | 后续衔接

  • 基础认知层:先把 0102 看完,再进入 Part 2 / Part 3 的参数量、显存和算力推导。
  • 变体补充层:2122 主要补量化和 MoE 的判断直觉,方便后续做压缩、推理和训练侧分析。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,先把数量级和账本算清楚。
  • 这里只写组级统一前提,不点到具体节号。
  • 少量页面如需 GPU optional,以后续单页说明为准,不在组页重复展开。

Released under the MIT License.