Skip to content

多模态与视觉推理术语表 ​

术语本专题中的含义容易混淆的对象
视觉表示像素经视觉主干得到的特征图或视觉词元最终检测框或文本答案
图块词元ViT 将图像网格切分后形成的序列元素语言模型的文本词元
密集预测在大量空间位置产生类别与位置候选最终保留的检测结果
对象查询DETR 类模型用于集合预测的可学习查询VLM 的视觉词元
连接器将视觉特征投影、压缩或重采样到语言模型空间的模块视觉编码器本身
视觉词元进入语言模型上下文的视觉表示单元原始图像块或 KV 状态
多模态工作负载图片、文本、输出上限、并发和质量协议的固定组合只包含模型名称的运行配置
视觉特征缓存复用视觉编码结果复用语言模型 KV Cache
预填充语言模型处理文本与视觉上下文的阶段图像预处理或视觉编码
端到端检测延迟媒体读取、预处理、网络前向和后处理的总时间只有网络前向时间
配对复测在固定输入、环境和质量协议下比较基线与候选不同模型、分辨率和后端同时变化的方案排名

Released under the MIT License.