Skip to content

部署与异构系统术语表 ​

中文主称英文或缩写本专题中的含义容易混淆的边界
模型产物model artifact可被保存、校验和加载的权重、配置及相关文件集合文件存在不代表目标推理后端能够加载
产物清单artifact manifest记录文件角色、来源、版本、哈希与依赖关系的结构化清单不等于模型配置文件
推理后端inference backend负责加载模型并执行请求的运行时或服务引擎框架声明支持不等于目标计算路径实际生效
语义参考路径semantic reference path用固定模型和输入确认输出语义的参考执行方式不承担生产服务吞吐结论
工作负载workload模型、输入输出长度、并发、请求分布、质量集和运行条件的组合只写模型名不能定义工作负载
能力门槛capability gate在进入性能比较前检查设备、运行时、数据类型、加载器与计算内核是否满足条件启动成功只是其中一项
静默回退silent fallback系统未显式失败,但改用高精度、CPU 或其他非目标路径执行功能正确不能证明目标优化生效
状态交接state handoffKV 状态、中间表示或请求状态在阶段或设备之间转移不是普通无状态请求转发
服务目标service-level objective, SLO对延迟、吞吐、可用性或错误率设定的可验收目标单次最快结果不是服务目标
首词元延迟time to first token, TTFT请求到首个输出词元之间的时间同时包含排队、预填充和服务开销
逐词元时间time per output token, TPOT首词元之后生成每个输出词元的平均或分位时间不能替代端到端延迟
预填充—解码分离prefill-decode disaggregation将预填充和逐词元解码放入不同资源池执行必须额外验证状态交接和网络代价
端—边—云放置edge-cloud placement按数据边界、时延、容量和成本在设备层级之间放置对象与阶段层级增加不保证性能改善
证据等级evidence level区分 CPU 机制、加载验证、真实后端基准和部署运行的证据范围不同等级不能混成同一种性能结论
降级路径fallback path候选不满足能力、容量或稳定性条件时采用的受控替代方案应记录触发条件和输出差异
回滚rollback发布候选失败后恢复到已验证版本、配置和产物只有旧权重而没有环境与配置不能完成回滚

正文首次出现术语时使用中文主称,必要时在括号中保留英文或缩写。模型名、推理后端名、配置字段和 JSON 字段保持官方拼写。

Released under the MIT License.