1C: 多卡通信与显存共享

本组解决“一张卡不够怎么办”的问题，核心是通信拓扑、ZeRO 和并行策略选择。

导航： 上一组 1B 单卡硬件与访存优化 | Chapter 1 导学 | 下一组 1D 异构调度与算子编程

包含内容

• 05 Communication Topologies
• 06 VRAM Calculation and ZeRO

桥接 / 扩展

• 20 NCCL and AllReduce Basics
• 26 Parallel Strategy Decision Framework
• 27 Communication Scheduling Optimization
• 28 Fault Tolerance and Checkpointing

学习顺序

建议按 05 -> 06 -> 20 -> 26 -> 27 -> 28 顺序学习。