05 RoPE 与长上下文位置机制（RoPE and Long-Context Positioning）
学习问题
注意力本身无法区分顺序。位置机制不仅要告诉模型“谁在前、谁在后”，还要决定模型在训练长度之外如何解释距离。绝对位置、相对位置、RoPE 和位置缩放采用不同方式编码顺序，也具有不同的外推条件。
核心机制
设计压力：顺序信息如何进入 Q/K？
绝对位置将位置向量直接加入输入，相对位置关注词元间距离；RoPE 则旋转 Q/K，使注意力内积自然携带相对位置信息。长上下文扩展的困难在于：改变旋转频率可以延长可用范围，也可能破坏模型训练时形成的位置分布。
结构机制：基频、维度与距离共同作用
RoPE 把相邻特征维组成二维平面，并按位置
长度扩展不能只比较配置中的最大长度。至少要区分训练长度内、刚越过训练长度和目标最大长度三个区间，并固定相同文本、分词器和访问模式；否则位置机制、稀疏注意力和 KV 容量变化会混在同一个结果中。
| 路径 | 改变什么 | 主要收益 | 主要风险 |
|---|---|---|---|
| 绝对位置编码 | 输入位置向量 | 实现直观 | 固定表难以外推 |
| 相对位置偏置 | 注意力分数 | 直接表达距离 | 形式与实现路径较多 |
| RoPE | Q/K 各维旋转角 | 与注意力计算紧密结合 | 超出训练长度后频率行为变化 |
| 插值 / 缩放 | 位置或频率映射 | 扩大可用上下文 | 短程分辨率和长程质量需重新验证 |
选择条件与验证证据
长上下文判断至少需要长度阶梯、训练长度内外标记、检索或推理质量、预填充成本和 KV/状态容量。仅验证模型“能够接收”长输入，不能证明它仍能可靠利用远处信息。
- Part 02 · 03 RoPE：实现旋转并观察不同频率维度。
- Part 02 · 44 局部、滑动窗口与稀疏注意力：比较位置扩展与访问范围限制。
- Part 02 · 77 长序列记忆架构基准：记录长度阶梯上的质量与成本。