2.8 分布式与扩展

本组聚焦显存优化、QLoRA、ZeRO 和并行扩展，目标是理解大模型训练规模化的工程边界。

导航： 上一组 2.7 高级推理优化 | Chapter 2 导学

包含内容

• 21 Gradient Checkpointing
• 22 QLoRA and 4bit Quantization
• 23 ZeRO Optimizer Sim
• 24 Tensor Parallelism Sim
• 25 Pipeline Parallelism MicroBatch

学习顺序

建议按 21 -> 22 -> 23 -> 24 -> 25 顺序学习。