全书概览

本教程用八章回答一条连续的问题：信息怎样被表示、变换、学习、生成，并最终部署成可评估的系统。

章节主线

章节	主要问题	方法与实践
第1章 DSP	如何从信号中分离结构、噪声与变化？	时域、频域、时频分析、检测与估计
第2章 优化与机器学习	参数如何从数据中学出来？	损失函数、梯度方法、传统监督学习
第3章 深度学习	特征如何由模型自动学习？	CNN、序列模型、目标检测与分割
第4章 Transformer	序列中的元素如何按内容交换信息？	自注意力、多头注意力、位置编码
第5章 LLM	下一 token 预测如何形成语言模型？	Tokenization、预训练、微调、对齐与评估
第6章 LLM 应用	如何针对不同瓶颈选择应用方案？	Prompt、微调、RAG、Agent 与系统设计
第7章 多模态	图像、音频和传感器信号如何与语言对齐？	模态表示、跨模态对齐、高分辨率与信号 token
第8章 工程实践	如何在质量、延迟、成本之间做取舍？	压缩、推理、评估、监控与回退

章节不是八个孤立主题。它们共享四个反复出现的动作：

表示信息 → 学习参数 → 产生预测 → 评估并修正

四条跨章节连接

1. 固定变换到学习表示

傅里叶变换和人工滤波器使用预先定义的基函数或规则；CNN、Transformer 和 LLM 则从数据中学习适合任务的表示。两者都在重组信息，但参数来源不同。

2. 局部聚合到内容相关聚合

卷积按固定邻域聚合，RNN 按时间顺序传递状态，自注意力按内容相关性聚合任意位置。第 1—4 章用同一组输入输出问题比较这些机制。

3. 分类预测到序列生成

线性分类器、神经网络分类器和语言模型都输出条件分布。LLM 的特殊之处在于反复预测下一个 token，并把已生成结果继续作为输入。

4. 模型能力到系统能力

Prompt 改变当前输入，微调改变模型参数，RAG 引入外部信息，Agent 引入工具和控制流程。第 6—8 章关注这些组件何时有用，以及如何评价它们增加的成本和风险。

两种进入方式

• 已掌握深度学习：从第4章 Transformer开始，再读第5—8章。
• 希望理解思想演化：从第1章 DSP开始，依次完成八章。

更具体的取舍见学习路径。扩展文章用于补数学推导或工程细节，不是进入下一章的前置条件。

完成一章的判断标准

本教程不规定完成时长。达到以下三点即可进入下一章：

1. 能说明本章方法接收什么输入、产生什么输出；
2. 完成章节入口列出的最低实践，并修改一个关键参数；
3. 能解释一次成功结果和一次失败或限制。

遇到数学、环境或代码问题时，分别查阅数学与符号参考、环境配置和代码运行指南。