2.5 线性回归与逻辑回归

核心问题： 连续值预测和二分类如何写成可优化的问题？

在线 Notebook

对应的交互式版本可在 Google Colab 打开，统一使用方式见第0章说明。

线性回归

给定输入 $X$ 和连续目标 $y$ ，线性回归使用

\hat{y} = X w + b

进行预测。常用均方误差为：

L (w, b) = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}

其梯度为：

\frac{\partial L}{\partial w} = \frac{2}{n} X^{T} (X w + b - y), \frac{\partial L}{\partial b} = \frac{2}{n} \sum_{i = 1}^{n} (X w + b - y)_{i}

参数可用闭式解或梯度方法估计。线性回归只能直接表示输入特征的线性组合；加入多项式等变换后，模型对变换后的特征仍是线性的。

二分类时，逻辑回归先计算线性分数，再用 Sigmoid 转为概率：

P (y = 1 ∣ X) = σ (X w + b), σ (z) = \frac{1}{1 + e^{- z}}

常用二元交叉熵为：

L (w, b) = - \frac{1}{n} \sum_{i = 1}^{n} [y_{i} \log {\hat{y}}_{i} + (1 - y_{i}) \log (1 - {\hat{y}}_{i})]

其梯度为：

\frac{\partial L}{\partial w} = \frac{1}{n} X^{T} (\hat{y} - y), \frac{\partial L}{\partial b} = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{y}}_{i} - y_{i})

逻辑回归输出概率，但决策边界在原始特征空间中仍是线性的。

正则化、特征尺度和数据异常值都会影响拟合结果。训练分数不能替代测试集或交叉验证结果。

神经网络中的全连接层也是线性映射 $W h + b$ ，但隐藏层之间加入非线性变换，并联合学习中间表示。

语言模型的输出层把隐藏表示映射为词表上的 logits，再用 Softmax 得到下一个 token 的条件分布：

P (x_{t} ∣ x_{< t}) = softmax (W h_{t} + b)

这与逻辑回归共享“线性分数 + 概率归一化 + 交叉熵”的形式，但语言模型还包含产生 $h_{t}$ 的多层网络，不能简化为逻辑回归。

实验同时展示线性回归拟合、逻辑回归决策边界和损失曲线。

Linear and Logistic Regression

图2.5：连续值拟合与二分类的输出、损失和决策边界。

代码文件： code/ch02_optimization/linear_logistic_regression.py
运行方式： python code/ch02_optimization/linear_logistic_regression.py

运行后改变特征尺度或学习率，观察损失曲线和边界是否变化。

下一节： 2.6 支持向量机与核方法