部署问题链:从模型产物到可交付服务
部署工作应沿着同一条因果链推进:
模型与 artifact → 输入契约 → backend 加载 → 设备兼容 gate → 数据路径 → 服务拓扑 → workload / 质量验证 → 发布与成本决策
先确认候选身份。模型 revision、tokenizer、template、artifact、backend 与关键配置共同定义一次运行;只记录模型名不足以复现。接着通过设备、artifact、runtime 与关键 kernel 的兼容 gate,再观察请求在 host、accelerator、缓存与网络之间如何流动。
单卡不能满足容量、并发或尾延迟时,才进入副本、多卡、PD 分离、端边云协同或异构路由。每增加一层服务拓扑,都要同时记录状态交接、通信等待和失败/降级路径。
最后在固定 workload 和质量门槛下比较候选。性能数字必须附带硬件、backend、artifact、输入长度、并发、重复和 evidence level;否则只能作为线索,不能作为部署结论。
相关正文依次为 01 部署契约 → 02 单机执行 → 07 兼容性 → 03 数据路径 → 04 服务分层 → 08 端边云放置 → 05 回归发布 → 06 选型决策。
