22. TCO and Hardware Selection | GPU 选型、成本模型与推理部署决策
本节承接 21 节的技术栈选型视角，继续往工程落地和成本决策前进一步：当我们已经知道 PyTorch、Triton、CUDA 各自适合做什么之后，还要回答“用什么硬件、以什么成本、在哪种部署形态下最划算”。
这一节解决什么问题
模型上线前，团队通常会同时面对三个问题：
- 选哪类 GPU 才够用。
- 自建机房还是使用云实例更划算。
- 在吞吐、延迟、显存和预算之间如何取舍。
TCO（Total Cost of Ownership，总拥有成本）就是把这些问题放进同一张账单里看。
TCO 视角下看硬件选型
硬件不是只看峰值算力，还要看：
- 显存容量：能不能装下模型和 KV Cache。
- 显存带宽：对推理和训练吞吐有多大帮助。
- 互联能力：NVLink / PCIe / RDMA 会不会成为瓶颈。
- 采购和运维成本：单卡价格、机房、电力、散热、运维人力。
这也是为什么同样是 GPU，不同型号会在“训练、推理、实验、生产”里扮演不同角色。
常见选型问题
1. A100、H100、L40S 怎么看？
- A100：经典训练卡，生态成熟，适合大多数训练和推理场景。
- H100：更强的算力和更好的新特性，适合高吞吐训练和高端推理。
- L40S：更偏推理和性价比场景，适合预算敏感的部署。
2. 云上还是自建？
- 云上：适合实验、短期项目、峰值弹性。
- 自建：适合长期稳定负载、对吞吐和单位成本敏感的生产环境。
3. 什么时候只看性能不够？
- 当模型较大、显存边界紧张时。
- 当推理流量不稳定、需要弹性扩容时。
- 当团队要做长期部署规划时。
一个最小的决策表
| 场景 | 更适合的硬件 / 部署 | 直观理由 |
|---|---|---|
| 训练中大型模型，想要较稳的生态 | A100 | 生态成熟，兼容性好，训练/推理都稳 |
| 高吞吐训练或更强推理性能 | H100 | 算力更强，适合更激进的性能目标 |
| 预算敏感、偏推理、看性价比 | L40S | 更适合推理和成本敏感部署 |
| 短期实验、峰值弹性、快速验证 | 云上实例 | 免运维，按需扩缩容 |
| 长期稳定负载、单位成本敏感 | 自建机房 | 持续成本可摊薄，长期更可控 |
这个表不是绝对答案，而是帮助你先建立“性能、容量、成本、运维”四个维度的决策直觉。
与前文的关系
- 21 节回答“技术上怎么选”。
- 22 节回答“从成本和部署上怎么选”。
两者合起来，才是完整的架构决策。
导航
当前状态
- 已补充最小决策表。
- 后续还可以继续补充更完整的 TCO 估算、云实例对比和推理部署案例。
- 当前作为 Part 4 的成本与硬件选型收口页，重点是建立决策直觉。