3.5 CUDA 系统扩展

本组聚焦通信、ZeRO 和技术选型，目标是理解 GPU 之外的系统级扩展问题。

导航： 上一组 3.4 CUDA 内核与显存优化 | Chapter 3 导学

包含内容

• 16 Distributed Communication Primitives
• 17 DeepSpeed Zero Config
• 20 CUDA vs Triton vs PyTorch

学习顺序

建议按 16 -> 17 -> 20 顺序学习。