第 9.1 章 端侧部署助手
⚠️ Alpha内测版本警告
此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。
本章导读
本章在资源受限的端侧约束下,与 AI 一起完成一次部署选型:先用模拟器筛选候选方案,再选少量配置实测,把采纳、修改或否决的理由写进决策日志。
教学目标
- 能说清端侧约束(显存、首 token 延迟、解码速度),并列出模型 + 量化的候选组合;
- 能用模拟器预测哪些组合能同时满足约束,并指出最紧的约束;
- 能跑通端侧部署全链路:模型转换 → 量化 → 推理服务 → 简单助手接口;
- 能在"能放下但更慢"与"更小模型但更快"之间做出取舍,并写进决策日志。
内容梗概
端侧约束与候选方案
把 9070 XT 的 16 GB 当作"端侧资源上限"的放大模拟,或直接用更小的模型(0.5B–3B)在单卡上做端侧部署全链路:模型转换 → 量化 → 推理服务 → 简单助手接口。
模拟器筛选
在约束下预测哪个模型 + 量化组合能同时满足,并指出最紧的约束。
真机验证
对选中的配置测量显存、TTFT 与解码速度,与预测的"可服务性"对比。
设计决策与决策日志
在"能放下但更慢"与"更小模型但更快"之间做出取舍,并记录理由。
实验设计
模拟器实验
给定端侧约束(显存 ≤ 14 GB 可用、首 token ≤ 500 ms、解码 ≥ 20 tok/s),模拟器预测哪个模型 + 量化组合能同时满足,并指出最紧的约束。
真机实验(RX 9070 XT 16 GB 主线)
- 选一个 1B–3B 模型,跑 BF16 和 INT4 两版,用
rocm-smi测显存、用固定 prompt 测 TTFT 和 tok/s; - 对比模拟器预测的"可服务性"与实际是否一致;
- 关键决策:如果 INT4 显存够但速度反而更慢,学生需要决定"接受慢但能放下"还是"换更小模型跑 BF16"。
闭环与交付(本章开始"与 AI 一起设计")
- 学员和 AI 提出候选方案,先通过(已校准的)模拟器筛选,再选择有信息价值的配置实测;
- 所有采纳、修改或否决写进决策日志。
- 提交:候选集合、被排除方案(及理由)、实测选点与决策日志。
本章小结
- 本章目前是 Alpha 阶段的内容梗概、实验设计与教学目标骨架,正式正文会在对应实验跑通后补齐。
- 与本章相关的代码、实验配置与测量记录会放在
code/part2-ai-design/chapter9-1/。
延伸阅读
- 待补充。