Skip to content

第零部分:前置知识与环境准备

Part 概览

第零部分用于补齐进入后续学习所需的基础能力,内容覆盖 Python、NumPy、PyTorch、数据入口、训练循环、调试和性能意识,是 Part 2-4 的共同前置。对 Part 2 来说,这一部分的价值不在于把每个概念讲到最深,而在于把读代码、看 shape、理解训练闭环和排查问题的最小能力先补齐。当前 Part 0 采用 notebook-first 统一管理,逻辑编号为 01 ~ 20,并按 0A ~ 0E 五组收口。

Part 资产总览

本章分为 5 个学习组,按“语言与数据表示 -> 数据入口 -> Tensor / Autograd -> 模型构建 -> 训练与模型直觉 -> 调试与性能”的顺序推进,尽量让后续进入 Part 2 时不会在基础接口、张量变换、数据喂入和训练闭环上卡住。

学习组核心职责逻辑编号组内目标
0A基础语言与数据表示01 ~ 044 节
0BPyTorch 张量与自动求导05 ~ 084 节
0CPyTorch 模型构建09 ~ 124 节
0D训练与模型直觉13 ~ 164 节
0E调试与性能17 ~ 204 节

学习路径

Part 0 建议按组推进,逐步补齐表达、数据入口、PyTorch、训练直觉、调试和性能意识这些基础能力。若你的目标是尽快进入 Part 2,优先把 0B / 0C / 0D 串起来,再回看 0A0E 的补充内容。

推荐顺序

  • 快速入门:先看 0A0B
  • 面向 Part 2:先看 0B0C0D,再补 0A0E
  • 系统学习:按 0A0B0C0D0E 顺序推进

面向后续部分

  • 0A0B:服务 Part 2 / Part 3 的表达、数据入口与张量前置,重点帮你读懂 shape、索引、基础算子、配置 / I/O 和 batch 相关的最小约定。
  • 0C0D:服务 Part 2 的模型与训练前置,重点帮你接上 nn.Module、loss、optimizer、训练闭环和基础模型直觉。
  • 0E:服务 Part 2-4 的调试与性能前置,重点帮你建立排错和资源判断习惯。

Part 1 对照

Part 0 和 Part 1 是两层互补的前置:Part 0 先把代码写法、数据入口和训练入口补齐,Part 1 再把数量级、硬件和系统判断讲深。对于 Part 2 的学习来说,Part 1 不是必须先读完,但它能把“为什么这样写代码”背后的资源与系统原因补全。

  • P1: 1A0A / 0B 的数量级对照,补数据类型、精度、参数量和 FLOPs 的判断。
  • P1: 1B0B / 0D / 0E 的性能对照,补 GPU 架构、访存和 profiling 直觉。
  • P1: 1C0C / 0D / 0E 的训练对照,补多卡通信、VRAM 计算和 checkpoint 代价。
  • P1: 1D0B / 0D / 0E 的执行对照,补 CUDA / Triton、调度和算子编程视角。
  • P1: 1E0C / 0E 的选型对照,补编译优化、硬件判断和 TCO 视角。

环境说明

  • 默认按 CPU-first 设计
  • 少数页面会标注 GPU optionalGPU required

Released under the MIT License.