01 目标检测:从 YOLO 到 DETR
学习问题
目标检测需要同时回答“有什么、在哪里、置信度如何”。YOLO 类模型将密集预测、候选筛选与后处理组合起来;DETR 将检测表示为固定数量 object queries 与集合匹配,直接输出对象集合。理解两种范式的输出与训练契约,是比较实时检测模型和接入视觉服务的前提。
密集预测与集合预测怎样形成检测结果
| 维度 | YOLO 类范式 | DETR 类范式 | 影响 |
|---|---|---|---|
| 预测组织 | 网格/多尺度密集候选 | object queries 与 decoder 输出 | 候选数量和中间表示不同 |
| 重复处理 | 通常依赖 NMS 或等价筛选 | 通过集合匹配训练,推理直接输出集合 | 后处理路径不同 |
| 标签分配 | anchor/位置或密集监督规则 | bipartite matching 的集合监督 | 训练数据与 loss 解释不同 |
| 主要质量指标 | AP、召回、误检/漏检 | AP、召回、误检/漏检 | 不可只用单帧 FPS 判断 |
检测工作负载需要固定哪些对象
| 字段组 | 至少记录 | 用途 |
|---|---|---|
| 样本 | image_id、原图尺寸、图像版本与 split | 确保同一输入集可复测 |
| 标注 | bbox、类别、遮挡/小目标属性与格式 | 检查坐标变换和标签兼容性 |
| 预处理 | resize、padding、增强与坐标映射 | 避免精度差异来自输入变换 |
| 输出 | boxes、scores、labels、阈值与后处理规则 | 对齐模型结果与评测器 |
| 结果 | AP/AR、类别错误、漏检/误检、延迟与显存 | 同时判断质量与实时性 |
检测证据怎样进入实时性比较
数据工程固定图像来源、标注版本、格式解析和训练/评测隔离;02 实时检测 Transformer在同一类输入、标注和质量指标下比较架构与部署候选。VLM 将视觉表示作为语言模型上下文,并不把边界框输出直接当作视觉词元。
什么记录可以支持检测候选比较
检测候选需要同时保存输入/输出契约、COCO 风格标注版本、预处理、AP/AR、延迟、显存和失败样本。只保存单帧输出或平均 FPS,无法解释质量变化和端到端实时性。
