Skip to content

Group 0B: PyTorch Tensors and Autograd | 0B: PyTorch 张量与自动求导 ​

Group Overview | 组概览 ​

形状相同的张量可能拥有不同布局,也可能共享同一份存储;前向结果正确时,梯度仍可能被切断或意外累积。本组从张量属性和索引开始,追踪反向传播以及梯度的保存、清理与关闭。

0B 张量、布局、反向传播与梯度控制的阅读路线

Group Asset Overview | 组内资产总览 ​

页面要回答的问题运行时观察什么
05 张量基础创建、复制和类型转换何时共享或替换存储?形状、数据类型、设备与共享数据
06 布局与索引转置、变形和索引如何改变元素位置?步长、连续性、掩码与多头布局往返
07 自动求导上游梯度如何经过局部运算,在分支处汇合?解析梯度、保存张量、自定义反向与分支梯度之和
08 梯度控制累积、清理、冻结与关闭梯度分别改变什么?梯度字段、计算图连接与参数冻结后的反向行为

Learning Path | 学习路径 ​

按 05 → 06 → 07 → 08 阅读。形状或索引错误先查 05、06;梯度缺失、重复累积或冻结异常先查 07、08。

Next Steps | 后续衔接 ​

进入 0C 模型与训练生命周期,把张量、梯度与模型参数、优化器和训练循环连接起来。需要进一步推导局部反向时,进入反向传播与训练机制。

Environment Notes | 环境说明 ​

使用 BASE-CPU,在 CPU 上检查张量、计算图与梯度。

Released under the MIT License.