Skip to content

03 VLM 架构与图像输入契约 ​

学习问题 ​

图像不会直接进入语言模型。视觉编码器先把像素转换为视觉特征,连接器将其投影或压缩为语言模型可处理的 token 表示,随后视觉 token 与文本 token 一起参与后续上下文计算。理解这条数据流,才能解释多模态请求为什么会改变 Prefill、KV Cache 和显存预算。

图像怎样进入语言模型上下文 ​

组件输入与输出主要设计选择对 workload 的影响
图像预处理原图 → resize/crop/normalize 后的张量分辨率、宽高比、图像数量CPU/GPU 预处理与像素规模
视觉编码器图像张量 → patch/视觉特征ViT 类型、patch size、层数视觉编码计算和特征长度
连接器视觉特征 → 视觉 tokenMLP、resampler、Q-Former 等token 数、表示维度与融合成本
语言模型文本 token + 视觉 token → 输出 token拼接位置、交叉注意力、chat templatePrefill 长度、KV 驻留与 Decode

VLM 从像素到视觉 token,再到文本输出

输入契约 ​

字段需要固定的内容为什么影响对照
图像数量、分辨率、宽高比、格式与预处理规则决定像素量、视觉特征和 token 预算
文本prompt、chat template、文本长度与最大输出决定语言侧 Prefill 与 Decode
模型VLM、视觉塔、连接器、processor、dtype影响图像到 token 的具体路径
任务VQA、OCR、grounding 等任务与质量规则防止只比较速度而忽略能力变化

视觉词元怎样改变语言模型计算 ​

需要补的能力入口本页如何使用
注意力与模型块Part 02 · 04 Attention、Part 02 · 05 LLaMA3 Block理解视觉词元与文本词元如何进入上下文计算
架构选择大模型架构阅读视觉塔、连接器和融合形式的差异
推理状态与服务指标推理优化将视觉 token 的代价放入 Prefill、KV 与请求指标

什么输入身份可以支持 VLM 对照 ​

一个可比较的 VLM 请求需要记录图像处理规则、视觉词元表示、文本模板、任务质量指标和模型版本。后续多模态与纯文本对照必须复用这份输入身份,并明确两种请求承担的任务是否相同。

Released under the MIT License.