Skip to content

大模型算法实战教程

Main Navigation 第零部分前置知识与环境准备第一部分硬件与系统基础第二部分 PyTorch 核心算法第三部分 Triton 算子开发第四部分 CUDA C++ 与系统优化

Appearance

Sidebar Navigation

介绍

项目概览

使用指南

贡献指南

维护与发布手册

第零部分：前置知识与环境准备

📖 完整导学

0A Python 基础

📖 组页

00. Python Essentials for LLM

01. NumPy and Einsum

0B PyTorch 基础

📖 组页

02. PyTorch Tensor Fundamentals

03. PyTorch Autograd and Backward

04. PyTorch nn.Module Basics

05. PyTorch Optimizers and Loss

0C 深度学习基础

📖 组页

06. Simple Neural Network Training

07. Activation Functions

08. Normalization Techniques

09. Attention Mechanism Intro

0D 工具与调试

📖 组页

10. PyTorch Profiling Basics

11. Memory Profiling and Optimization

12. Debugging Techniques

13. Jupyter and Git Basics

第一部分：硬件与系统基础

📖 完整导学

1A 数值基础与算力估算

📖 组页

01. Data Types and Precision

02. LLM Params and FLOPs

21. Quantization Theory and INT4/INT8

22. MoE Parameter and Compute

1B 单卡硬件与访存优化

📖 组页

03. GPU Architecture and Memory

04. Attention Memory Optimization

11. KV Cache and Memory Growth

12. TensorCore and Mixed Precision

13. Profiling and Bottleneck Analysis

14. FlashAttention Memory Model

23. TensorCore Deep Dive

24. SRAM Optimization Techniques

25. Sparse Computation and Sparse Attention

1C 多卡通信与显存共享

📖 组页

05. Communication Topologies

06. VRAM Calculation and ZeRO

20. NCCL and AllReduce Basics

26. Parallel Strategy Decision Framework

27. Communication Scheduling Optimization

28. Fault Tolerance and Checkpointing

1D 异构调度与算子编程

📖 组页

07. CPU GPU Heterogeneous Scheduling

08. Programming Models CUDA Triton

15. CUDA Execution Model

16. Warp Block SharedMemory Basics

17. CUDA Stream and Asynchrony

18. Triton Block Model

19. Operator Fusion Introduction

29. CUDA Stream Advanced Scheduling

30. Dynamic Shape Handling

31. GPU Virtualization and MIG

1E 编译优化与算力生态

📖 组页

09. AI Compilers and Graph Optimization

10. Domestic AI Chips Overview

32. TVM MLIR Deep Practice

33. TCO and Cost Model

第二部分：PyTorch 核心算法

📖 完整导学

2.1 基础算子

📖 组页

00. PyTorch Warmup

01. RMSNorm Tutorial

02. SwiGLU Activation

03. RoPE Tutorial

04. Attention MHA GQA

2.2 模型架构

📖 组页

05. LLaMA3 Block Tutorial

06. MoE Router

07. MoE Load Balancing Loss

08. Architecture Tricks

2.3 微调与训练技术

📖 组页

09. SFT Training Loop

10. LoRA Tutorial

11. LR Schedulers WSD Cosine

2.4 对齐技术

📖 组页

12. RLHF PPO Memory

13. DPO Loss Tutorial

2.5 反向传播与显存优化

📖 组页

14. Attention Backward Math

2.6 核心推理优化

📖 组页

15. FlashAttention Sim

16. Decoding Strategies

17. vLLM PagedAttention

2.7 高级推理优化

📖 组页

18. Speculative Decoding

19. SGLang RadixAttention

20. Quantization W8A16

2.8 分布式与扩展

📖 组页

21. Gradient Checkpointing

22. QLoRA and 4bit Quantization

23. ZeRO Optimizer Sim

24. Tensor Parallelism Sim

25. Pipeline Parallelism MicroBatch

第三部分：Triton 算子开发

📖 完整导学

3.1 基础篇

📖 组页

01. Triton Vector Addition

02. Triton Fused SwiGLU

03. Triton Fused RMSNorm

04. Triton GEMM Tutorial

05. Triton Autotune and Profiling

3.2 过渡篇

📖 组页

06. Triton Fused Softmax

06.5 Triton Design Patterns

3.3 进阶A：Attention优化

📖 组页

07. Triton Fused RoPE

08. Triton Flash Attention

09. Triton PagedAttention

3.4 进阶B：推理优化

📖 组页

10. Triton Quantization

11. Triton Multi-LoRA

3.5 项目篇

📖 组页

12. Triton Memory Model and Debug

13. Triton Llama3 Block Project

14. Triton Best Practices and FAQ

第四部分：CUDA C++ 与系统优化

📖 完整导学

4.1 CUDA 编程基础

📖 组页

15. CUDA Custom Kernel Intro

16. CUDA Shared Memory Optimization

4.2 系统级性能优化

📖 组页

17. CUDA Streams and Transfer

18. CUDA Graph and JIT Compile

4.3 分布式训练工程

📖 组页

19. Distributed Communication Primitives

20. DeepSpeed ZeRO & Offload

4.4 架构视野

📖 组页

21. CUDA vs Triton vs PyTorch

22. TCO and Hardware Selection

On this page

4.2 系统级性能优化

本组聚焦 GPU 运行时调度、异步执行和编译时优化。

导航：上一组 4.1 CUDA 编程基础 | Chapter 4 导学 | 下一组 4.3 分布式训练工程

包含内容

17. CUDA Streams and Transfer
18. CUDA Graph and JIT Compile

Pager

Previous page16. CUDA Shared Memory Optimization

Next page17. CUDA Streams and Transfer

Released under the MIT License.

Copyright © 2024-present