Skip to content

00 视觉表示:从 CNN 到 ViT ​

学习问题 ​

图像进入检测模型或视觉语言模型前,必须先被转换为可计算的表示。CNN 通过局部卷积逐层扩大感受野;ViT 将图像拆成 patch token,再用注意力建立全局关系。两条路径的表示粒度、计算分布和输入长度不同,直接影响后续检测、视觉 token 与部署成本。

局部特征与图块词元怎样组织图像 ​

机制CNNViT对后续任务的影响
基本单元局部卷积核与特征图图块与词元序列决定特征组织方式
空间关系逐层扩大感受野注意力直接关联词元影响长距离关系与计算分布
多尺度特征金字塔或下采样层图块层级、窗口或额外特征层影响小目标和不同分辨率
输入代价像素规模影响特征图分辨率与图块大小决定词元数影响视觉编码时间、显存与 VLM 预填充

从图像网格到 CNN 特征图或 ViT patch token

图像输入契约 ​

字段需要固定的内容为什么需要记录
图像数量、尺寸、宽高比、颜色空间与格式决定预处理和像素成本
预处理resize、crop、normalize、padding 与插值方式同一图片可产生不同输入张量
表示backbone、patch size、输出层级与 dtype决定特征/token 数和精度路径
任务分类、检测、VQA 或 OCR 的质量目标防止只比较编码速度

表示变化怎样影响后续任务 ​

需要补的能力入口本页如何使用
张量、卷积与基础视觉计算Part 00 · 02 NumPy 与 Einsum、算子优化理解特征张量、访存和视觉编码热点
注意力与 Transformer 块Part 02 · 04 Attention、Part 02 · 05 LLaMA3 Block将图块词元连接到注意力计算
模型架构演进大模型架构回补残差、归一化和 Transformer 设计选择

什么记录可以支持表示对照 ​

表示账本至少记录“像素规模 → 特征图或图块词元 → 下游模型输入”,并说明分辨率或图块大小变化时,表示长度、视觉计算和显存怎样变化。缺少统一输入和质量任务时,不能只按编码速度选择表示方案。

Released under the MIT License.