Skip to content

部署与异构决策手册 ​

使用本表前先记录模型 revision、产物身份、分词器与模板、推理后端、设备和工作负载。先定位第一个失败阶段,再进入对应机制页;没有最小证据时不比较候选。

现象或目标先检查什么最小证据机制入口验证或转交入口
模型或量化产物无法加载产物格式、文件角色、哈希、模型 revision、分词器和后端版本加载命令、错误阶段、产物清单与环境版本01 模型产物与部署契约Part 02 · 82 量化产物准入
能加载但输出与参考路径不一致输入模板、特殊词元、采样、停止条件和实际数据类型同一输入的参考输出、候选输出与逐字段配置差异02 推理后端兼容性与单机执行Part 02 · 66 浮点服务基线
目标设备报错或发生静默回退设备能力、运行时插件、数据类型和目标计算内核设备身份、运行时版本、路径日志与回退原因07 加速器与运行时兼容性Part 02 · 72 单卡部署比较
GPU 利用率低且端到端延迟高输入准备、主机—设备搬运、同步、缓存和输出回写阶段时间、传输字节、同步事件与驻留对象03 设备协同与数据路径性能优化 · 时间线与关键路径
单实例容量不足或尾延迟失控权重和 KV 容量、并发、队列、通信与状态交接峰值显存、队列等待、P95/P99、交接字节和失败请求04 多设备与服务分层Part 02 · 81 分布式推理
端、边、云之间的网络等待影响服务对象放置、往返时延、带宽、状态所有权和降级路径每段网络时间、传输对象、区域容量和回退结果08 端—边—云放置与状态交接通信与并行
更新后质量或性能回归候选身份、工作负载、执行路径、失败样本和统计方式是否同时固定基线—候选配对结果、质量切片、路径事件与失败分类05 可观测性、回归与发布Part 02 · 83 量化服务配置基准
多个候选都可运行但难以取舍质量门槛、有效完成量、容量、尾延迟、成本与回滚代价同一工作负载下的质量、请求指标、资源账本和成本假设06 异构选型与成本决策Part 05 · 推理服务综合项目

Released under the MIT License.