多模态与视觉推理术语表
| 术语 | 本专题中的含义 | 容易混淆的对象 |
|---|---|---|
| 视觉表示 | 像素经视觉主干得到的特征图或视觉词元 | 最终检测框或文本答案 |
| 图块词元 | ViT 将图像网格切分后形成的序列元素 | 语言模型的文本词元 |
| 密集预测 | 在大量空间位置产生类别与位置候选 | 最终保留的检测结果 |
| 对象查询 | DETR 类模型用于集合预测的可学习查询 | VLM 的视觉词元 |
| 连接器 | 将视觉特征投影、压缩或重采样到语言模型空间的模块 | 视觉编码器本身 |
| 视觉词元 | 进入语言模型上下文的视觉表示单元 | 原始图像块或 KV 状态 |
| 多模态工作负载 | 图片、文本、输出上限、并发和质量协议的固定组合 | 只包含模型名称的运行配置 |
| 视觉特征缓存 | 复用视觉编码结果 | 复用语言模型 KV Cache |
| 预填充 | 语言模型处理文本与视觉上下文的阶段 | 图像预处理或视觉编码 |
| 端到端检测延迟 | 媒体读取、预处理、网络前向和后处理的总时间 | 只有网络前向时间 |
| 配对复测 | 在固定输入、环境和质量协议下比较基线与候选 | 不同模型、分辨率和后端同时变化的方案排名 |
