Skip to content

Group 0C: PyTorch Model Construction | 0C: PyTorch 模型构建

本组把 Tensor 和 Autograd 推进到 nn.Module、Optimizer 和 Loss,是从“会算”走向“会搭模型”的核心过渡层。对 Part 2 来说,这一组最重要的作用是先把模型代码怎么组织、怎么调用、怎么保存看顺,再去读后面的模型结构页时就不会只看见接口名。

Group Overview | 组概览

这一组把 Tensor 和 Autograd 推进到 nn.Module、Optimizer 和 Loss,帮助你把“会算”推进到“会搭模型”。你可以把它看成从‘张量和梯度’走向‘模型对象’的那一步:先知道参数挂在哪,再知道 forward() 怎么走,最后才是训练怎么闭环。

对 Part 2 来说,这一组先补的是模型代码怎么组织、怎么调用、怎么保存的语法桥:nn.Moduleforward()parameters()named_parameters()state_dict()load_state_dict()zero_grad()optimizer.step()loss.backward(),以及把模型参数、输入 batch 和训练步对齐的最小读法。

等这一层接口看顺后,再去 0D 看“这些模块为什么这样设计”,路线会更自然。

Group Asset Overview | 组内资产总览

核心职责Q 数验证数覆盖 Q定位
09nn.Module 与参数管理44Q1, Q2, Q3, Q4起步页
10state_dict、checkpoint 和持久化边界66Q1, Q2, Q3, Q4, Q5, Q6主线页
11loss、optimizer 和训练步44Q1, Q2, Q3, Q4核心页
12Dataset / DataLoader / batch 契约66Q1, Q2, Q3, Q4, Q5, Q6收口页

Learning Path | 学习路径

  • 先看 09 -> 10 -> 11 -> 12,把模块封装、状态管理、优化器、损失和训练接口先接起来。若目标是尽快进入 Part 2,至少要把 091112 看懂,它们直接对应后面的模型定义、训练循环和 loss 对齐。

Part 2 重点 | Part 2 Focus

  • 09:先补 nn.Module、参数注册、forward() 入口,解决“模型代码从哪里开始读”的问题。
  • 10:先补 state_dict()load_state_dict()、checkpoint 和保存边界,解决“参数怎么保存和恢复”的问题。
  • 11:先补 loss.backward()zero_grad()optimizer.step(),解决“训练步怎么闭环”的问题。
  • 12:先补 Dataset / DataLoader / batch 契约,解决“数据怎么喂进训练循环”的问题;如果后面开始做 SFT 或其他监督微调,这一页也会帮助你看懂样本如何对齐成训练 batch。

Next Steps | 后续衔接

  • 看完本组后,继续进入 0D,把训练循环、激活函数、归一化和 Attention 直觉补齐;如果 Part 2 里已经开始写训练代码,这一组会是最常回头查的前置之一。
  • 先把 0C 里的“怎么写代码、怎么接接口”看顺,再去 0D 看“为什么这样设计模型”,会更像一条连续的学习路径。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,优先把模块职责和接口边界看懂。
  • 这里只写组级统一前提,不点到具体节号。
  • 少数页面如需 GPU optional,以后续单页说明为准。

Released under the MIT License.