Skip to content

部署与异构系统(Deployment and Heterogeneous Systems) ​

专题类型:横向工程专题 学习目标:把模型产物、推理后端、设备能力和服务约束转化为可复测的部署方案。

模型能够完成一次前向计算,不等于它能在目标设备和服务环境中稳定交付。部署需要依次确认候选身份、加载能力、实际执行路径、状态放置、服务拓扑和回退条件,最后在固定质量门槛与工作负载下比较容量、延迟、吞吐和成本。

量化、注意力和并行机制为部署提供候选产物与执行约束;本专题把这些输入接到目标运行时和设备上,判断候选能否正确执行,以及应该采用、继续调优还是回退。

学习路线 ​

下表是按问题查找入口的全景图。首次学习可以先走“候选—单机—证据—选择”主线;设备路径异常或单实例无法满足目标时,再进入对应扩展。连续追踪一个候选可读部署问题链,已有故障时查部署决策手册,术语差异见专题术语表。

学习阶段推荐入口完成后能回答什么环境
入门主线01 候选契约 → 02 后端兼容 → 05 回归证据 → 06 候选选择候选身份是否完整、后端是否按预期执行、证据是否足以选择阅读无需安装;运行 CPU 检查使用 BASE-CPU
单机验证Part 02 · 72 单卡部署比较单卡容量、请求质量和服务指标是否达标GPU 可选;需要真实服务测量时使用 INF-VLLM-011-CU128
故障诊断07 加速器与运行时兼容性、03 设备协同与数据路径是否发生能力不匹配、执行回退、搬运或同步阻塞可先读;真实设备路径需对应硬件
扩展部署04 多设备与服务分层 → 08 端—边—云放置 → Part 02 · 81 分布式推理何时复制、切分、分离阶段或改变部署位置真实多卡验证至少需要双卡;端边云结论需要对应节点与网络
Task / 主题本阶段要回答的问题学习入口与验证出口学习顺序主要正文入口
Task0 · 候选身份与部署契约哪些文件、版本和输入输出条件共同定义一个可追溯的部署候选?核心:Part 00 · 10 状态与持久化;量化分支:Part 02 · 82 量化产物准入模型来源 → 产物清单与哈希 → 分词器和模板 → 输入输出协议 → 加载前检查01 模型产物与部署契约
Task1 · 推理后端与单机执行同一候选在不同推理后端上为什么具有不同的加载条件和执行路径?核心:Part 02 · 66 浮点服务基线;项目:Part 02 · 72 单卡部署比较语义参考路径 → 后端加载 → 能力声明 → 实际数据类型与计算内核 → 配对请求02 推理后端兼容性与单机执行
Task2 · 设备能力与数据路径目标设备是否支持候选,输入、权重、缓存和输出在哪里搬运、驻留与同步?核心:Part 01 · 34 异构加速器与运行时约束;扩展:性能优化设备能力门槛 → 运行时和计算内核支持 → 主机—设备路径 → 驻留对象 → 搬运与同步时间03 设备协同与数据路径
Task3 · 多设备与分层服务单实例不满足容量或服务目标时,应该复制、切分、分离阶段还是改变端—边—云放置?核心:通信与并行、Part 02 · 39 异构预填充—解码;项目:Part 02 · 81 分布式推理单实例失败证据 → 状态与请求切分 → 服务层级 → 状态交接 → 降级和恢复04 多设备与服务分层
Task4 · 可观测性与发布回归怎样证明部署命中了预期路径,并在版本或环境变化后发现质量与性能回归?核心:性能优化 · 基准设计与回归验证;量化配置项目:Part 02 · 83 量化服务配置基准运行身份 → 路径事件与资源记录 → 配对回归 → 失败分类 → 阻断、降级或回滚05 可观测性、回归与发布
Task5 · 异构候选与成本门槛质量合格的候选是否同时满足容量、服务目标、成本和维护约束?核心:Part 01 · 33 总拥有成本模型;扩展:量化与压缩淘汰不兼容候选 → 固定质量门槛 → 比较有效吞吐与尾延迟 → 估算单位成本 → 检查回退代价06 异构选型与成本决策
Task6 · 部署交付与采用决策哪个候选具备可执行配置、复测证据、降级路径和回滚条件,可以进入交付?项目:Part 02 · 72 单卡部署比较、Part 02 · 81 分布式推理;出口:Part 05 · 推理服务综合项目汇总候选身份 → 复核质量与系统证据 → 检查失败和恢复 → 选择采用、调优或拒绝 → 保存交付清单Part 05 · 推理服务综合项目

部署与异构学习路线:从模型产物到交付决策

部署与异构知识地图:产物、运行时、设备、服务和证据

扩展与跨专题入口 ​

按需回补 ​

需要理解的对象优先入口本专题使用的内容
请求阶段、KV Cache 与服务目标推理优化固定请求工作负载、服务指标和缓存状态
量化对象、产物和低精度路径量化与压缩判断候选产物是否可加载、是否命中声明路径
多卡切分、通信与拓扑通信与并行判断多设备候选的状态布局和通信代价
执行轨迹、驻留对象与回归性能优化 · 时间线与关键路径、显存时间线与驻留判断时间、容量和代价转移发生在哪里
图像、音频和工具调用输入多模态与智能体基础设施扩展输入协议、质量门槛与失败状态

两类扩展条件 ​

  • 端侧或本地执行需要独立记录模型格式、CPU/GPU 卸载、内存上限和功耗,不能沿用数据中心服务结论;
  • 多设备、跨节点或端—边—云候选需要独立记录拓扑、状态交接、网络等待和故障域,单卡结果只能作为语义与功能基线。

实验与项目出口 ​

首次运行先按实验 Quickstart选择阅读、CPU 检查、单卡服务或多卡验证路径,再从实验资产表选择模型、工作负载和结果入口。部署专题复用推理、量化与通信项目的结果;只有候选身份、执行路径、质量协议和工作负载一致时,才把它们合并判断。

证据阶段要回答的问题当前入口
契约与兼容性产物、分词器、模板、运行时和设备能力是否匹配?正文 01、02、07;量化产物另查 Part 02 · 82
单机真实执行候选能否在目标后端正确启动并完成固定请求?Part 02 · 66、67、72
服务配置与回归配置变化是否改善目标指标且没有破坏质量和稳定性?Part 02 · 83;正文 05
多设备与分层服务单机不足时,切分、复制或阶段分离是否带来净收益?Part 02 · 39、81;通信与并行实验资产
综合交付候选是否具备成本、降级、恢复和回滚证据?Part 05 · 推理服务综合项目

真实部署结果至少固定模型 revision、分词器与模板、产物身份、设备、驱动与运行时、推理后端、实际数据类型、输入输出长度、并发、预热、重复次数、质量集和失败状态。缺少这些条件时,结果只能说明路径可运行,不能支持跨候选选型。

Released under the MIT License.