Skip to content

多模态与视觉推理判断手册 ​

先确认问题属于检测还是 VLM,并固定图像版本、预处理、模型或视觉塔、处理器和质量协议。表中的“最小证据”缺失时,不比较跨模型性能。

现象或目标先检查什么最小证据机制入口验证或转交入口
分辨率变化后质量和显存同时改变图像尺寸、图块大小与视觉表示长度输入卡、视觉特征/词元数、峰值显存00 视觉表示固定质量集后做分辨率配对复测
检测输出框数量或类别异常标注映射、候选筛选与匹配数据版本、原始候选、后处理配置01 检测范式数据工程检查标注身份
实时检测 FPS 高但端到端延迟不达标预处理、前向和后处理阶段分阶段时间、P95、AP/AR 与失败图像02 实时 DETR05 关键路径
VLM 更换处理器后回答退化图像预处理、视觉词元和模板模型/视觉塔/处理器版本、输入序列、失败回答03 VLM 输入契约回滚输入契约并重跑独立质量集
图像请求首词元明显变慢媒体读取、视觉编码与预填充图片规格、视觉词元、阶段时间、TTFT04 多模态请求状态推理优化检查预填充与调度
缓存命中但端到端收益很小命中的对象与关键路径占比缓存对象、命中率、节省时间和全链路延迟04 多模态请求状态性能优化 · 瓶颈归因确认瓶颈是否转移
候选能加载但执行路径发生回退运行时支持与实际计算内核产物身份、后端版本、日志、执行轨迹05 关键路径部署与异构检查兼容门槛
需要决定候选是否上线分支内基线、质量、资源和恢复路径配对结果、失败切片、产物清单、回滚版本06 交付决策Part 05 综合项目

Released under the MIT License.