Skip to content

Part 02 结果资产与证据契约 ​

统一审阅入口见 教程资产总登记与审阅台账。

本文是维护者用的结果资产清单:回答“某个小节产出的 JSON、artifact、指标和决策字段是否能被下游项目复用”。它不替代学习路径;项目入口与学习顺序仍以 Part 02 项目资产表 为准。

使用方式 ​

新增或改造 Part 02 的实验时,先在下表找到最接近的结果契约:沿用其公共字段,把本节特有指标放入专用字段;没有合适契约时,先记录为“待建设”,不要把临时 JSON 写成新的隐式标准。

所有会改变模型输出的候选方案,还应同时遵守 维护规范中的跨专题质量门槛。性能指标不能单独替代质量、失败状态或最终决策。

稳定项目身份与公共外层 ​

60–86 的数字编号只负责定位 Notebook;跨专题引用、结果记录和后续调号使用稳定语义 ID。唯一主归属、专题内顺序和目标契约统一登记在 benchmarks/project_registry.json,学习顺序见 2.10 项目链。

公共实验外层由以下模块维护:

模块职责不负责
tools.project_contracts构造 ExperimentSpec、ArtifactManifest、RunResult,读取项目注册表并保存 companion JSON不覆盖原始 backend / profiler 结果,不决定机制专属指标
tools.project_adapters用同一接口包装 PyTorch、Transformers 或 serving runner,统一预检失败与执行失败记录不安装依赖,不修改 workload,不把 smoke 自动升级为 benchmark
既有专项 schema继续维护训练、推理、量化、profiling 等稳定专属字段不再各自定义第二套项目身份和主归属

项目 Notebook 可以独立构造默认 ExperimentSpec 并运行;消费其他项目 artifact 时通过 ArtifactManifest 显式引用,不以固定文件路径形成强制执行链。

证据等级 ​

等级含义可支持的结论
theoretical公式、账本或静态推导机制方向与理论上限
cpu_simulationCPU 状态机、成本模型或合成时间轴状态转移、约束与候选比较
gpu_smoke可运行的 GPU 路径或局部算子探针环境与接口可用性
real_benchmark固定 workload 下的真实模型或后端复测当前配置下的性能比较
profiler_trace可回看的 trace / profiler 证据瓶颈归因与优化解释

没有固定 workload、真实模型或 trace 时,不得把较低等级写成稳定 benchmark。

已有结果契约 ​

契约 / 版本覆盖范围公共结构或字段当前状态
mechanism-gpu-probe(未版本化)非项目机制页的可选 GPU 实验,例如 19、20、22、24、25、26、34–41、46–49workload、baseline / candidate、环境、局部指标、证据等级、失败与结论部分统一:5.1–5.4 结构已在页面中形成,但尚无共享 schema 与统一校验器
fine-tuning-project/v162–65config、baseline、candidates、quality、resources、artifacts、decision、environment工具已版本化:由 tools/fine_tuning_result_schema.py 提供;60 已由稳定项目注册表归入架构链
inference-benchmark/v166、68–70project、strategy、role、config、metrics、quality、status、evidence_level、failure、decision、strategy_metrics已版本化:由 tools/inference_result_schema.py 生成;66 也承担浮点基线入口
training-memory-benchmark/v173、75、76config、budget、quality_floor、candidates、summary、decision已版本化:由 tools/training_memory_result_schema.py 兼容归一化历史结果
profiling-optimization-benchmark/v174config、candidates、profile、bottleneck、validation、decision已版本化:保留 profiler 专项证据;后续可评估是否与训练显存契约抽取共用外层
quantization-evidence/v182 → 66 → 67 → 83 的量化产物、浮点基线、部署与 serving 证据链stage、artifact、hardware、backend、workload、metrics、status、evidence_level、failure、decision已版本化:由 tools/quantization_result_schema.py 维护;原始 backend JSON 仍应保留
distributed-benchmark/v179–81 与 PAR-MODEL-INTERNALproject、role、workload、hardware、metrics、artifacts、evidence_level、failure、decision外层已版本化:由 tools/distributed_result_schema.py 维护;79、80 已可通过聚合器生成 companion,81 与模型内部并行项目仍待接入真实执行 adapter
architecture-evaluation/v160、61、71、77、78统一身份、运行环境、workload、候选、质量、成本、失败、证据等级与决策;各项目保留专属机制字段工具与 Notebook 均已接入:由 tools/architecture_result_schema.py 维护;61 是聚合出口,其余四页生产局部证据;当前仍待采集固定环境下的真实结果
对齐与模型评测(待建设)50、51、84–86建议复用 eval_dataset、eval_dataset_revision、evaluation_protocol、quality_metrics、quality_threshold、failure_samples、decision待建设:协议已在后训练优化 Task6 与维护规范中说明,尚无 model-evaluation/v1

现状审计快照(2026-09-30) ​

审计范围为 Part 02 的 60–86,共 27 个项目 Notebook。这里的“接入”指 Notebook 实际引用或调用结果契约工具,不把仅存在于 tools/ 目录中的脚本误记为已迁移。

资产信号数量结论
已有结果路径或 JSON 写入逻辑21 / 27多数项目已经知道结果写到哪里,但路径与文件命名尚未形成一套声明机制
已标记 tutorial-question / tutorial-test / tutorial-answer16 / 27新项目页的教学代码标签较完整;63–65、71、73–76、84–86 仍需单独核查或迁移
已标记 GPU 配置、执行或读取 cell16 / 27新版 GPU 分层已覆盖一部分项目;73–76 有实际 GPU 代码,但尚未统一为 metadata tag
工作区中已有实际 JSON / trace 结果6 个项目族当前可回看的实测主要集中在 60、66、73–76;其余多数是可生成路径或待学习者复测位置
Notebook 已直接接入版本化 schema / 聚合工具9 / 2760、61、71、77、78 接入架构 schema;79、80 接入分布式聚合;82、83 接入量化 schema。其余 schema 目前主要是可复用工具,而非已经全面接入的事实

项目级资产矩阵 ​

范围当前资产结果路径状态契约接入状态审计判断
60CPU / GPU、checkpoint 与 adapter 历史资产有 60 专属目录和已提交 adapter、JSON已接入 architecture-evaluation/v1 producer companion原始结果保持不变;匹配质量缺失时只能形成 tune
61架构审计卡、CPU 账本有按时间戳写入路径已接入 architecture-evaluation/v1 audit record只消费 producer 路径、语义 ID 与哈希;缺失、失败或篡改证据不能 accept
62–64SFT、LoRA 变体、数据质量结果有项目 JSON;62 还保留 60 的历史兼容入口未直接接入 fine-tuning schema先盘点旧/新路径与 artifact 所有权,再迁移
65QLoRA 选型、GPU smoke、adapter manifest有 GPU JSON 与 manifest 路径使用自定义 qlora-benchmark/v1,未接入通用 schema是后训练与量化的交叉资产,需先决定主契约再迁移
66–70推理基线、量化部署、投机、缓存、调度66 有现存实测;67–70 主要提供生成路径和 manifestNotebook 未直接调用 inference-benchmark/v1schema 与页面并存但未形成强制连接,是最高优先级的事实校验点
71–72MLA / KV 表示、单卡部署对照72 有部署目录;71 已增加 backend 结果位置71 已接架构 producer;72 仍走推理部署契约两页继续分属架构评测与推理部署,不能混合处理
73–76训练性能、profiling、预算与 checkpoint/offload有 JSON、trace、跨节读取链页面使用原始结果;归一化工具存在但未在 Notebook 中显式调用有最完整的历史证据,应保留原始数据并只增加 companion 记录
78访问模式 CPU 账本与 SDPA mask probe有 GPU 结果路径已接入 architecture-evaluation/v1 producer companion固定为受控比较;明确 sparse_kernel_executed=false,不得宣称专用稀疏 backend 收益
77长序列状态与混合记忆对照有 GPU 结果路径已接入 architecture-evaluation/v1 producer companion默认使用观察性比较;单个 needle smoke 通过仍只能形成 tune
79–81并行、MoE dispatch、分布式推理有项目目录与 smoke 路径79、80 调用聚合器;81 尚未接入共同字段已出现,适合优先版本化为分布式契约
82–83量化 artifact gate 与 serving profile有专属目录与标准化 companion JSON 路径已接入 quantization-evidence/v1当前最完整的端到端 asset / deployment 链样板
84–86DPO、GRPO、在线对齐当前未见稳定的结果路径与教学 metadata无模型评测 schema先定义评测数据、质量阈值和回滚记录,再设计结果文件

工作区中已存在的可回看证据 ​

项目族已有资产注意事项
60多份 LoRA JSON、adapter、tokenizer既有 60_real_lora/ 是历史资产;62 已引用它,迁移时不能移动或覆盖
66多份 vLLM 并发结果与 backend log可作为 67 量化部署的浮点基线,但必须记录匹配 workload 与模型 revision
73多份真实 GPU 训练 JSON存在不同 dtype / sequence length 的历史运行,比较前需核对统一条件
74baseline/checkpoint trace 与 profiling JSONtrace 是归因证据,不能仅以汇总耗时替代
75多份显存预算决策 JSON依赖 76 结果,需保留来源关系
76多份 checkpoint/offload GPU JSON依赖 73 基线,需保留 workload 一致性检查

其余项目目前主要提供可复现的结果路径、配置或读取逻辑;未在工作区发现相应实测文件,不应在资产表中标为“已有 benchmark”。

已确认与待评审决策 ​

优先级需要先确认的决策原因本轮动作
已确认60 归入架构链;65 保持后训练主归属、量化交叉入口避免训练 schema 继续按数字范围推断项目身份已写入项目注册表;不迁移历史文件
已确认72 是独立的单卡部署项目它比较模型、artifact 与 backend 组合,不只服务量化链使用推理目标契约;量化 artifact 作为可选输入
已确认79–81 与 PAR-MODEL-INTERNAL 采用一份版本化分布式结果 envelope四页共享硬件、拓扑、通信与扩展证据distributed-benchmark/v1 已建立;下一步接通模型内部并行 adapter 并采集真实多卡结果
P166 / 67 / 82 / 83 的关联键浮点基线、artifact、量化部署与 serving profile 需要可追溯明确 model_revision、artifact_id、workload_id 的最小约束
已确认架构项目使用统一质量—成本外层和项目专属机制字段60、61、71、77、78 的对象不同,不能只复用性能字段architecture-evaluation/v1 已建立并接入五页;下一步采集固定环境结果
P2对齐项目的评测数据与回滚记录84–86 尚无稳定结果资产;先定义错误的代价较低先写 model-evaluation/v1 草案

架构项目职责与目标契约 ​

架构项目不按数字范围推断职责,而按稳定语义 ID 组成证据链。60、78、71、77 分别生产局部证据,61 只登记来源并完成跨机制审计。

顺序语义 ID项目职责专属记录当前成熟度
1ARCH-BLOCK-STABILITY比较 Decoder Block 的单变量结构变体changed_field、Block 配置、梯度/稳定性、匹配 checkpointCPU、GPU 路径和统一外层已接;匹配质量缺失时只能形成 tune
2ARCH-ATTENTION-ACCESS比较全局、局部与稀疏访问模式attention_pattern、访问密度、长程覆盖、kernel/backend 能力已有 CPU mask 与 SDPA 证据;专用稀疏 backend 尚未接入
3ARCH-MLA-KV比较 MHA、GQA、MLA 的状态表示representation、KV bytes/token、latent/RoPE 维度、backend capability已有理论账本和成对 backend 执行入口;真实 backend 结果仍是最薄弱环节
4ARCH-LONG-SEQUENCE-MEMORY比较显式历史、递推状态与混合记忆state_representation、layer_schedule、长度阶梯、质量—成本曲线结果结构最接近目标契约;默认属于跨模型观察
5ARCH-MODEL-AUDIT汇总前序证据并形成架构审计卡生产项目语义 ID、结果路径/哈希、配置差异、综合判断已有审计卡;不得重新生成局部 benchmark 指标

目标公共外层如下。字段允许为 null,但不得通过省略字段掩盖没有采集的证据。

字段组最小字段说明
身份与来源schema_version、semantic_id、sourcesource 记录 Notebook、producer 与原始结果引用
运行条件runtime、workload固定模型 revision、tokenizer、输入、长度阶梯、dtype、hardware 与 backend
对照对象baseline、candidate / candidates只改变已声明的架构变量;跨模型比较必须标记为 observational
证据quality、cost、项目专属字段质量与成本必须成对出现;机制字段不强塞入公共指标表
可信度failure、evidence_level记录不支持、回退、OOM、缺失质量与可复测入口
决策decision使用 accept / tune / reject,并记录原因与下一步

tools/architecture_result_schema.py 已实现 producer / audit 两类记录、受控/观察性比较标记、结果哈希引用和禁止隐式覆盖。接入顺序保持为 60 → 78 → 71 → 77 → 61:先让局部生产者生成 companion 记录,再让 61 消费稳定引用;原始 JSON 不覆盖。

项目注册表(维护视图) ​

项目只保留一个主专题和一个目标主契约;交叉专题只提供入口。稳定语义 ID 与顺序以机器可读注册表为准,下表用于人工审阅主归属和交付物。下游消费关系统一放在下一节的资产关系表,避免在此重复。

架构与后训练 ​

项目主专题交叉入口目标契约交付资产
60 Decoder Block 稳定性模型架构演进后训练、性能architecture-evaluation/v1Block 稳定性与成本
61 架构探索模型架构演进推理、性能architecture-evaluation/v1架构审计卡
62 指令微调后训练优化数据工程、性能fine-tuning-project/v1checkpoint / adapter、训练报告
63 LoRA 变体后训练优化性能fine-tuning-project/v1变体比较、adapter
64 SFT 数据质量后训练优化数据工程、模型评测fine-tuning-project/v1数据质量与训练效果
65 QLoRA 选型后训练优化量化压缩、部署异构fine-tuning-project/v1训练报告、adapter manifest

推理与性能 ​

项目主专题交叉入口目标契约交付资产
66 推理性能比较推理优化量化、性能、部署inference-benchmark/v1匹配浮点 baseline
67 量化推理与部署量化压缩推理、部署、性能推理原始记录 + 量化 companion量化部署比较
68 投机解码推理优化性能inference-benchmark/v1接受率与净收益
69 Prefix Cache推理优化性能、部署inference-benchmark/v1命中、复用与收益
70 Serving 调度推理优化性能、部署inference-benchmark/v1延迟、公平性与队列证据
71 MLA / KV 表示模型架构演进推理、性能architecture-evaluation/v1表示成本与质量
72 单卡部署比较推理优化量化、部署异构inference-benchmark/v1 的 deployment 扩展单卡 backend 对照
73 训练性能分析性能优化后训练、反向传播与训练training-memory-benchmark/v1训练性能基线
74 Profiling 驱动优化性能优化后训练、算子优化profiling-optimization-benchmark/v1trace、瓶颈与调优证据
75 显存预算压缩性能优化后训练training-memory-benchmark/v1预算决策记录
76 Checkpoint / Offload性能优化后训练、反向传播与训练training-memory-benchmark/v1内存策略比较
77 长序列记忆架构模型架构演进推理、性能architecture-evaluation/v1长序列质量—状态成本
78 Attention 访问模式模型架构演进推理、算子优化架构契约 + GPU probe访问密度、质量与成本

分布式、量化与对齐 ​

项目主专题交叉入口目标契约交付资产
79 训练状态并行通信与并行性能、后训练distributed-benchmark/v1DDP / FSDP / ZeRO 状态与扩展证据
80 MoE 专家并行通信与并行架构、性能distributed-benchmark/v1dispatch / overflow / 通信证据
81 分布式推理通信与并行推理、部署、性能distributed-benchmark/v1多卡 serving 比较
82 量化产物评估量化压缩部署、模型评测quantization-evidence/v1artifact gate
83 量化 Serving Profile量化压缩推理、部署、性能quantization-evidence/v1serving profile 与决策
84 DPO 偏好项目后训练优化数据工程、模型评测model-evaluation/v1偏好优化与质量记录
85 GRPO 对齐项目后训练优化Agent、数据工程、模型评测model-evaluation/v1组内奖励与质量记录
86 在线 DPO benchmark后训练优化数据工程、模型评测model-evaluation/v1freshness、回滚与上线判断

资产关系表草案(待评审) ​

这张表只记录真实的生产—消费关系。专题之间的“相关阅读”或知识前置不自动形成资产依赖;只有需要读取、验证、比较或复用某项结果时才登记关系。

资产 ID(建议)生产项目资产内容消费项目关系使用前提
architecture.block_stability60Block 稳定性、变体成本与 checkpoint 记录61、Part 05 架构选型extends / consumes相同或可声明差异的模型配置与 workload
architecture.audit_card61架构 config、参数 / KV / 状态账本77、78、Part 05compares_against模型 revision 与成本口径可追溯
training.sft_checkpoint62SFT checkpoint / adapter 与训练报告84、85、65consumes数据版本、chat template、质量门槛明确
training.lora_variant_report63LoRA 变体效果与资源比较65、Part 05compares_against相同模型、数据与训练预算
data.sft_quality_report64数据版本、质量过滤与效果记录62、84、85validates训练集与评测集隔离
training.qlora_adapter65QLoRA adapter、训练质量与来源 manifest82consumes(间接)必须先合并或导出为可部署 artifact;adapter 本身不是量化部署产物
inference.floating_baseline66匹配模型 / backend / workload 的浮点结果67、72、83compares_againstrevision、dtype、workload 与并发口径匹配
quantization.deployment_candidate67量化候选的部署结果72、83consumesartifact 已通过 82 gate;存在匹配 66 baseline
inference.speculative_evidence68proposal / verify / acceptance 与净收益Part 05 推理服务consumesdraft / target 与 workload 明确
inference.prefix_cache_evidence69命中、复用、维护代价与延迟Part 05 推理服务consumes共享前缀分布与缓存策略明确
inference.scheduler_evidence70排队、公平性、吞吐与策略结果Part 05 推理服务、81extends请求到达模式和调度策略可复现
architecture.mla_state_cost71MLA / KV 表示成本与质量61、77、Part 05extendsAttention 配置与序列长度明确
deployment.single_gpu_candidate72单卡 backend / artifact 组合的部署结果83、Part 05consumes量化 artifact 时必须携带 82 gate 引用
performance.training_baseline73固定训练 workload 的时间、显存与质量基线74、75、76compares_againstdtype、batch、seq_len、工作负载一致
performance.profiler_trace74baseline / candidate trace 与瓶颈解释Part 05 性能项目validates对应候选必须有同口径运行结果
performance.memory_strategy76checkpoint / offload 的显存—时间—质量比较74、75compares_against使用 73 的匹配基线
performance.budget_decision75预算、策略筛选与质量门槛Part 05 性能项目consumes来源策略结果与预算约束完整
architecture.long_context_evidence77、78长序列状态与访问模式的质量—成本证据61、Part 05extends任务质量、长度与成本均被记录
distributed.training_state_evidence79DDP / FSDP / ZeRO 的训练状态与扩展证据性能优化、后训练、Part 05consumes拓扑、每 rank 状态、通信、吞吐与 workload 记录
distributed.model_internal_evidencePAR-MODEL-INTERNALPP / TP / CP 与 Device Mesh 的模型内部并行证据81、Part 05consumesstage、Head、sequence 布局与 collective 记录;真实多卡 adapter 待接入
distributed.moe_dispatch_evidence80capacity / overflow / dispatch / 通信证据81、Part 05consumesrouter、专家配置与拓扑明确
distributed.inference_candidate81副本 / 模型并行 / PD 分离的 serving 结果Part 05 推理部署项目consumes多卡硬件、backend 与 workload 可复现
quantization.artifact_gate82artifact 完整性、可加载性与质量 gate67、72、83validatesartifact id、format、loader 与质量记录齐全
quantization.serving_profile83latency / throughput / balanced profilePart 05 推理部署项目consumes82 gate 与 67 或 72 的部署记录可关联
alignment.preference_evidence84chosen / rejected、reference 与评测结果86、Part 05compares_against偏好数据版本和评测协议明确
alignment.group_reward_evidence85rollout、reward、组内统计与质量86、Part 05compares_against奖励函数、采样与质量阈值明确
alignment.online_decision86freshness、数据隔离、回滚与上线判断Part 05 对齐项目consumes84 / 85 与线上评测数据均可追溯

字段复用规则 ​

字段组最小内容适用范围
对照对象baseline、candidate / candidates、策略名称与角色所有比较实验
workload模型、输入长度、输出长度、batch、并发、缓存/数据策略;不足项显式为 nullGPU 探针与全部项目 benchmark
环境与 artifacthardware、backend / runtime、dtype、版本、artifact id / 路径有真实运行或可加载产物的实验
指标延迟、吞吐、显存、通信、质量等;机制特有指标置于专用字段所有结果 JSON
质量门槛评测集及版本、协议、阈值、失败样例会改变模型输出的候选方案
证据与决策evidence_level、failure、复测路径、decision、原因和下一步所有可交付结论

覆盖状态与下一步 ​

已完成 ​

  • 训练微调、推理 benchmark、训练显存、profiling、量化证据均已有明确的版本化 Python 契约。
  • 79、80 已以共同必要字段进行证据聚合。
  • 项目页和机制页已普遍使用 baseline / candidate、workload、证据等级与 accept / tune / reject 的表达。

优先补齐 ​

  1. 先建立字段与路径映射表,不改结果文件。 对每个项目登记原始 JSON、trace、artifact、上游输入、下游消费者、当前 schema 与目标 schema;65、71、72 是跨专题资产,要先确定主归属。
  2. 核对 schema 的实际接入状态。 区分“工具已经存在”“Notebook 已调用”“现有结果已经归一化”三种状态;特别核对 60–76 不能只根据 tools/ 推断完成迁移。
  3. 冻结历史证据并定义 companion 策略。 60、66、73–76 的现有 JSON / trace 保持原路径;后续只新增归一化 companion JSON 与清晰的来源字段。
  4. 先设计目标契约,不写实现。 依次输出 distributed-benchmark/v1、量化部署链映射、architecture-evaluation/v1、model-evaluation/v1 的字段草案与兼容表。
  5. 最后再按依赖迁移。 先 79–81,再 82–83 与 72,然后架构与对齐;非项目 mechanism-gpu-probe/v1 放在项目资产稳定后处理。

维护边界 ​

  • 此页记录“哪些资产可以复用、还缺什么”,不替代各项目的真实结果表。
  • 原始 backend / profiler / notebook JSON 是可追溯证据;归一化记录不能覆盖或删除它们。
  • 新增字段优先放入 strategy_metrics、quality、artifacts 等专用区域;只有跨至少两个项目稳定复用后,才提升为公共字段。

Released under the MIT License.