多模态与视觉推理实验资产
本专题尚未固定独立 GPU 环境。当前先固定数据、工作负载和结果结构;真实检测与 VLM 实验分别使用隔离环境,不能为了共用环境把检测、Transformers 和服务后端依赖混装。
数据与工作负载角色
| 角色 | 必须固定 | 主要用途 |
|---|---|---|
| 检测样本 | 图像与标注版本、类别映射、输入尺寸 | AP/AR、漏检/误检和阶段延迟 |
| VLM 样本 | 图片、问题、参考答案、模板和输出上限 | 任务质量、视觉词元、TTFT/TPOT |
| 失败切片 | 损坏媒体、极端宽高比、小目标、OCR 或长回答 | 验证降级和回滚条件 |
环境职责
| 环境 | 任务 | 不应承担 |
|---|---|---|
| CPU 输入契约环境 | 图像尺寸、标注、模板和结果字段测试 | GPU 性能结论 |
| 单卡检测环境 | 固定检测器的质量、阶段延迟和峰值显存 | VLM 生成服务结论 |
| 单卡 VLM 环境 | 视觉编码、预填充、解码和容量对照 | 检测 AP/AR |
| 服务后端环境 | 并发、缓存、运行时兼容和尾延迟 | 模型训练收益 |
推荐验证顺序
以下为待执行的实验准备清单。当前尚未登记本专题独立的 CPU 输入测试或真实 GPU 结果;确定模型和输入协议后,再补对应测试入口。
- 先运行 CPU 输入与结果契约测试。
- 分别建立检测基线和 VLM 基线,不做跨分支排名。
- 采集阶段时间、峰值显存、质量和失败样本。
- 只改变一个主要变量,运行配对复测。
- 在目标运行时检查处理器、视觉算子、产物和回退路径。
- 满足质量、性能、容量和恢复门槛后,再进入 Part 05 开放实践。
仍缺少的真实证据
- 实时检测:固定公开数据切片的单卡质量—延迟基线与导出运行时对照。
- VLM:适配 12 GB 与 24 GB 单卡的模型角色、视觉词元预算和真实请求基线。
- 服务:多模态后端的并发、缓存和失败恢复结果。
这些缺口应按顺序补齐;没有真实后端结果时,不用 CPU 探针或理论账本代替部署结论。
