为什么从 LLM 重新理解信息处理
LLM 值得学习，不是因为它能替代所有算法，而是因为它把表示学习、序列预测和自然语言接口放进了同一个可迁移模型。本教程从这条变化出发，回看信号处理、优化和深度学习之间的联系。
方法发生了什么变化
| 阶段 | 参数从哪里来 | 典型任务 | 主要限制 |
|---|---|---|---|
| 传统信号处理 | 人工设计变换、滤波器和判决规则 | 滤波、检测、估计 | 依赖明确模型和领域知识 |
| 传统机器学习 | 从标注数据学习有限参数 | 回归、分类、排序 | 特征通常仍需人工设计 |
| 深度学习 | 同时学习表示和任务参数 | 图像、语音、序列建模 | 常为单一任务训练，数据成本高 |
| 大规模预训练 | 从大规模数据学习通用表示，再适配任务 | 文本生成、问答、代码与多模态任务 | 事实可靠性、成本和可控性仍有限 |
变化的重点不是“旧方法失效”，而是越来越多的表示和决策规则由数据学习。明确结构、数据充足程度和错误成本后，人工方法、小模型和大模型仍可能分别是更合适的选择。
LLM 为什么能复用到多种任务
语言模型学习条件分布：给定已有 token，预测下一个 token。训练样本来自大量不同领域，因此同一个模型可以通过输入上下文切换任务。它并不直接获得“理解”或“推理”标签，而是在降低预测误差的过程中学习语法、语义和统计关联。
这种复用能力有三个来源：
- 统一表示：文本、代码和部分多模态输入最终被映射到向量序列；
- 统一目标：许多任务可以改写成条件生成；
- 上下文适配：指令和示例能改变当前预测条件，无需每次更新参数。
这些机制不能保证答案正确。模型可能复述训练分布中的偏差，也可能在缺少证据时生成流畅但错误的内容。因此第 5 章会把生成能力与评估、对齐一起讨论，第 6—8 章继续加入外部知识、工具和运行时约束。
与前置算法的连接
卷积与注意力
卷积和注意力都包含“对输入做加权聚合”，但权重来源不同：卷积核在不同位置共享，注意力权重由当前输入内容计算。这个共同点适合建立直觉，不能把两种算子视为等价。
频率表示与位置编码
正弦位置编码使用多个频率表示位置，与傅里叶基函数有形式联系；它不是对序列做傅里叶变换。第 1 章介绍频率表示，第 4 章再说明这些周期函数如何注入顺序信息。
LMS、SGD 与 Adam
三者都按误差信息迭代更新参数。LMS 面向自适应滤波，SGD 面向一般损失函数，Adam 进一步利用梯度的一阶、二阶矩估计调整更新尺度。第 2 章比较它们的共同结构和适用边界。
为什么现在适合系统学习
Transformer 提供了易并行的序列建模结构，自监督目标降低了对逐条人工标注的依赖，GPU/加速器和训练软件使大规模实验可执行。三者共同推动了预训练模型，而不是某一个因素单独造成结果。
对工程学习者，更重要的变化是模型已经成为系统组件：可以通过 API 或本地权重调用，也可以与检索、工具、监控和回退机制组合。理解模型结构仍然必要，因为延迟、上下文长度、数据边界和失败模式都与结构有关。
本教程不做的承诺
- 不把 LLM 描述为适合任何任务；
- 不用参数规模直接代表模型能力；
- 不把流畅输出等同于事实正确或可靠推理；
- 不用单个演示结果替代数据集、指标和失败分析。
后续章节会持续使用同一套问题检查方法：输入如何表示，参数如何学习，输出如何评价，失败后如何修正。
延伸阅读
- Vaswani et al., Attention Is All You Need (2017)
- Radford et al., Language Models are Unsupervised Multitask Learners (2019)
- Hoffmann et al., Training Compute-Optimal Large Language Models (2022)