跳转到正文

第 9.1 章 端侧部署助手 ​

⚠️ Alpha内测版本警告

此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。

本章导读 ​

本章在资源受限的端侧约束下,与 AI 一起完成一次部署选型:先用模拟器筛选候选方案,再选少量配置实测,把采纳、修改或否决的理由写进决策日志。

教学目标 ​

  • 能说清端侧约束(显存、首 token 延迟、解码速度),并列出模型 + 量化的候选组合;
  • 能用模拟器预测哪些组合能同时满足约束,并指出最紧的约束;
  • 能跑通端侧部署全链路:模型转换 → 量化 → 推理服务 → 简单助手接口;
  • 能在"能放下但更慢"与"更小模型但更快"之间做出取舍,并写进决策日志。

内容梗概 ​

端侧约束与候选方案 ​

把 9070 XT 的 16 GB 当作"端侧资源上限"的放大模拟,或直接用更小的模型(0.5B–3B)在单卡上做端侧部署全链路:模型转换 → 量化 → 推理服务 → 简单助手接口。

模拟器筛选 ​

在约束下预测哪个模型 + 量化组合能同时满足,并指出最紧的约束。

真机验证 ​

对选中的配置测量显存、TTFT 与解码速度,与预测的"可服务性"对比。

设计决策与决策日志 ​

在"能放下但更慢"与"更小模型但更快"之间做出取舍,并记录理由。

实验设计 ​

模拟器实验 ​

给定端侧约束(显存 ≤ 14 GB 可用、首 token ≤ 500 ms、解码 ≥ 20 tok/s),模拟器预测哪个模型 + 量化组合能同时满足,并指出最紧的约束。

真机实验(RX 9070 XT 16 GB 主线) ​

  • 选一个 1B–3B 模型,跑 BF16 和 INT4 两版,用 rocm-smi 测显存、用固定 prompt 测 TTFT 和 tok/s;
  • 对比模拟器预测的"可服务性"与实际是否一致;
  • 关键决策:如果 INT4 显存够但速度反而更慢,学生需要决定"接受慢但能放下"还是"换更小模型跑 BF16"。

闭环与交付(本章开始"与 AI 一起设计") ​

  • 学员和 AI 提出候选方案,先通过(已校准的)模拟器筛选,再选择有信息价值的配置实测;
  • 所有采纳、修改或否决写进决策日志。
  • 提交:候选集合、被排除方案(及理由)、实测选点与决策日志。

本章小结 ​

  • 本章目前是 Alpha 阶段的内容梗概、实验设计与教学目标骨架,正式正文会在对应实验跑通后补齐。
  • 与本章相关的代码、实验配置与测量记录会放在 code/part2-ai-design/chapter9-1/。

延伸阅读 ​

  • 待补充。