部署与异构系统术语表
| 中文主称 | 英文或缩写 | 本专题中的含义 | 容易混淆的边界 |
|---|---|---|---|
| 模型产物 | model artifact | 可被保存、校验和加载的权重、配置及相关文件集合 | 文件存在不代表目标推理后端能够加载 |
| 产物清单 | artifact manifest | 记录文件角色、来源、版本、哈希与依赖关系的结构化清单 | 不等于模型配置文件 |
| 推理后端 | inference backend | 负责加载模型并执行请求的运行时或服务引擎 | 框架声明支持不等于目标计算路径实际生效 |
| 语义参考路径 | semantic reference path | 用固定模型和输入确认输出语义的参考执行方式 | 不承担生产服务吞吐结论 |
| 工作负载 | workload | 模型、输入输出长度、并发、请求分布、质量集和运行条件的组合 | 只写模型名不能定义工作负载 |
| 能力门槛 | capability gate | 在进入性能比较前检查设备、运行时、数据类型、加载器与计算内核是否满足条件 | 启动成功只是其中一项 |
| 静默回退 | silent fallback | 系统未显式失败,但改用高精度、CPU 或其他非目标路径执行 | 功能正确不能证明目标优化生效 |
| 状态交接 | state handoff | KV 状态、中间表示或请求状态在阶段或设备之间转移 | 不是普通无状态请求转发 |
| 服务目标 | service-level objective, SLO | 对延迟、吞吐、可用性或错误率设定的可验收目标 | 单次最快结果不是服务目标 |
| 首词元延迟 | time to first token, TTFT | 请求到首个输出词元之间的时间 | 同时包含排队、预填充和服务开销 |
| 逐词元时间 | time per output token, TPOT | 首词元之后生成每个输出词元的平均或分位时间 | 不能替代端到端延迟 |
| 预填充—解码分离 | prefill-decode disaggregation | 将预填充和逐词元解码放入不同资源池执行 | 必须额外验证状态交接和网络代价 |
| 端—边—云放置 | edge-cloud placement | 按数据边界、时延、容量和成本在设备层级之间放置对象与阶段 | 层级增加不保证性能改善 |
| 证据等级 | evidence level | 区分 CPU 机制、加载验证、真实后端基准和部署运行的证据范围 | 不同等级不能混成同一种性能结论 |
| 降级路径 | fallback path | 候选不满足能力、容量或稳定性条件时采用的受控替代方案 | 应记录触发条件和输出差异 |
| 回滚 | rollback | 发布候选失败后恢复到已验证版本、配置和产物 | 只有旧权重而没有环境与配置不能完成回滚 |
正文首次出现术语时使用中文主称,必要时在括号中保留英文或缩写。模型名、推理后端名、配置字段和 JSON 字段保持官方拼写。
