Skip to content

多模态与视觉推理实验资产 ​

本专题尚未固定独立 GPU 环境。当前先固定数据、工作负载和结果结构;真实检测与 VLM 实验分别使用隔离环境,不能为了共用环境把检测、Transformers 和服务后端依赖混装。

数据与工作负载角色 ​

角色必须固定主要用途
检测样本图像与标注版本、类别映射、输入尺寸AP/AR、漏检/误检和阶段延迟
VLM 样本图片、问题、参考答案、模板和输出上限任务质量、视觉词元、TTFT/TPOT
失败切片损坏媒体、极端宽高比、小目标、OCR 或长回答验证降级和回滚条件

环境职责 ​

环境任务不应承担
CPU 输入契约环境图像尺寸、标注、模板和结果字段测试GPU 性能结论
单卡检测环境固定检测器的质量、阶段延迟和峰值显存VLM 生成服务结论
单卡 VLM 环境视觉编码、预填充、解码和容量对照检测 AP/AR
服务后端环境并发、缓存、运行时兼容和尾延迟模型训练收益

推荐验证顺序 ​

以下为待执行的实验准备清单。当前尚未登记本专题独立的 CPU 输入测试或真实 GPU 结果;确定模型和输入协议后,再补对应测试入口。

  1. 先运行 CPU 输入与结果契约测试。
  2. 分别建立检测基线和 VLM 基线,不做跨分支排名。
  3. 采集阶段时间、峰值显存、质量和失败样本。
  4. 只改变一个主要变量,运行配对复测。
  5. 在目标运行时检查处理器、视觉算子、产物和回退路径。
  6. 满足质量、性能、容量和恢复门槛后,再进入 Part 05 开放实践。

仍缺少的真实证据 ​

  • 实时检测:固定公开数据切片的单卡质量—延迟基线与导出运行时对照。
  • VLM:适配 12 GB 与 24 GB 单卡的模型角色、视觉词元预算和真实请求基线。
  • 服务:多模态后端的并发、缓存和失败恢复结果。

这些缺口应按顺序补齐;没有真实后端结果时,不用 CPU 探针或理论账本代替部署结论。

Released under the MIT License.