第1章 统计学习方法概论

习题1.1

  说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型$n$次独立的数据生成结果，其中$k$次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

解答：

解答思路：

1. 写出伯努利模型；
2. 写出伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素；
3. 根据伯努利模型的极大似然估计，估计结果为1的概率；
4. 根据伯努利模型的贝叶斯估计，估计结果为1的概率。

解答步骤：

第1步：伯努利模型
  根据题意：伯努利模型是定义在取值为0与1的随机变量上的概率分布。
  对于随机变量$X$，则有：

$$\begin{gathered} P(X=1)=p \\ P(X=0)=1-p \end{gathered}$$

其中，$p$为随机变量$X$取值为1的概率，$1-p$则为取0的概率。
  由于随机变量$X$只有0和1两个值，$X$的概率分布，即伯努利模型可写为：

$$P_p(X=x)=p^x(1-p{)}^{(1-x)},0⩽p⩽1$$

  则伯努利模型的假设空间为：

$$\mathcal{F}=\{P|P_p(X)=p^x(1-p{)}^{(1-x)},p\in [0,1]\}$$

第2步：伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素
（1）极大似然估计
  模型：伯努利模型
  策略：经验风险最小化。极大似然估计，等价于当模型是条件概率分布、损失函数是对数损失函数时的经验风险最小化。
  算法：极大化似然：${\displaystyle \underset{p}{\arg max}L(p|X)=\underset{p}{\arg max}P(X|p)}$

（2）贝叶斯估计
  模型：伯努利模型
  策略：结构风险最小化。贝叶斯估计中的最大后验概率估计，等价于当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时的结构风险最小化。
  算法：最大化后验概率：${\displaystyle \underset{p}{\arg max}\pi (p|X)={\displaystyle \underset{p}{\arg max}\frac{P(X|p)\pi (p)}{\int P(X|p)\pi (p)dp}}}$

第3步：伯努利模型的极大似然估计

  极大似然估计的一般步骤：
  参考Wiki：https://en.wikipedia.org/wiki/Maximum_likelihood_estimation

1. 写出随机变量的概率分布函数；
2. 写出似然函数；
3. 对似然函数取对数，得到对数似然函数，并进行化简；
4. 对参数进行求导，并令导数等于0；
5. 求解似然函数方程，得到参数的值。

  对于伯努利模型$n$次独立的数据生成结果，其中$k$次的结果为1，可得似然函数为：

$$\begin{array}{rl}L(p|X)& =P(X|p)\\ & =\prod _{i=1}^{n}P(x^{(i)}|p)\\ & =p^k(1-p{)}^{n-k}\end{array}$$

  对似然函数取对数，得到对数似然函数为：

$$\begin{array}{rl}\log L(p|X)& =\log p^k(1-p{)}^{n-k}\\ & =\log (p^k)+\log ((1-p{)}^{n-k})\\ & =k\log p+(n-k)\log (1-p)\end{array}$$

  求解参数$p$：

$$\begin{array}{rl}\hat{p}& =\underset{p}{\arg max}L(p|X)\\ & =\underset{p}{\arg max}[k\log p+(n-k)\log (1-p)]\end{array}$$

  对参数$p$求导，并求解导数为0时的$p$值：

$$\begin{array}{rl}\frac{\partial \log L(p)}{\partial p}& =\frac{k}{p}-\frac{n-k}{1-p}\\ & =\frac{k(1-p)-p(n-k)}{p(1-p)}\\ & =\frac{k-np}{p(1-p)}\end{array}$$

  令${\displaystyle \frac{\partial \log L(p)}{\partial p}=0}$，从上式可得，$k-np=0$，即${\displaystyle p=\frac{k}{n}}$
  所以${\displaystyle P(X=1)=\frac{k}{n}}$

第4步：伯努利模型的贝叶斯估计

解法一：求最大后验估计

  贝叶斯估计（最大后验估计）的一般步骤：
  参考Wiki：https://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation

1. 确定参数$\theta$的先验概率$p(\theta )$
2. 根据样本集$D=\{x_1,x_2,\dots ,x_n\}$，计算似然函数$P(D|\theta )$：${\displaystyle P(D|\theta )=\prod _{i=1}^{n}P(x_i|\theta )}$
3. 利用贝叶斯公式，写出后验概率最大化公式：

$$\underset{\theta }{\arg max}P(\theta |D)=\underset{\theta }{\arg max}\frac{P(D|\theta )P(\theta )}{{\displaystyle \underset{\mathrm{\Theta }}{\int }P(D|\theta )P(\theta )d\theta }}=\underset{\theta }{\arg max}P(D|\theta )P(\theta )$$

4. 利用求导，得到后验概率最大时的参数取值

  对于伯努利模型的参数$p$，根据贝叶斯估计，该参数也是随机变量。
  假设$p$的先验分布$\pi (p)$为均匀分布，则最大后验概率估计等价于极大似然估计。
  一般在贝叶斯估计中，如果后验分布与先验分布属于同一分布簇（共轭分布），则称此先验分布为似然函数的共轭先验。

  参考极大似然估计和贝叶斯估计

选取共轭先验有如下好处，例如：
（1）符合直观，先验分布和后验分布应该是相同形式的；
（2）可以给出后验分布的解析形式；
（3）可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

  伯努利分布的先验分布为Beta分布，则此处假设先验分布$\pi (p)$为Beta分布。

补充知识：Beta分布
来源维基百科：https://zh.wikipedia.org/wiki/Β分布
  Beta 分布（Beta distribution），是指一组定义在${\displaystyle (0,1)}$区间的连续概率分布，亦称Β分布。有两个参数$\alpha ,\beta >0$。
概率密度函数：${\displaystyle f(x;\alpha ,\beta )=\frac{1}{\mathrm{B}(\alpha ,\beta )}{x}^{(\alpha -1)}(1-x{)}^{\beta -1}}$
其中$\mathrm{B}(\alpha ,\beta )$是Beta函数，亦称Β函数。${\displaystyle \mathrm{B}(\alpha ,\beta )={\int }_0^1{x}^{\alpha -1}(1-x{)}^{\beta -1}dx}$
随机变量$X$服从参数为$\alpha ,\beta$的Beta分布记作：$X\sim \mathrm{B}\mathrm{e}(\alpha ,\beta )$
期望：${\displaystyle \mathrm{E}(X)=\frac{\alpha }{\alpha +\beta }}$
与均匀分布关系：当$\alpha =1,\beta =1$时，Beta分布就是一个均匀分布

  $p$的先验分布为：

$${\displaystyle \pi (p)=\frac{1}{B(\alpha ,\beta )}{p}^{(\alpha -1)}(1-p{)}^{\beta -1}}$$

  似然函数与第3步相同：

$$\begin{array}{rl}L(p|X)& =P(X|p)\\ & =\prod _{i=1}^{n}P(x^{(i)}|p)\\ & =p^k(1-p{)}^{n-k}\end{array}$$

  最大化后验概率，求解参数$p$：

$$\begin{array}{rl}\hat{p}& =\underset{p}{\arg max}\frac{P(X|p)\pi (p)}{{\displaystyle \int P(X|p)\pi (p)dp}}\\ & =\underset{p}{\arg max}P(X|p)\pi (p)\\ & =\underset{p}{\arg max}{p}^k(1-p{)}^{n-k}\frac{1}{B(\alpha ,\beta )}{p}^{(\alpha -1)}(1-p{)}^{\beta -1}\\ & =\underset{p}{\arg max}\frac{1}{B(\alpha ,\beta )}{p}^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}\end{array}$$

  令${\displaystyle g(p)=\frac{1}{B(\alpha ,\beta )}{p}^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}}$，对函数$g(p)$先取对数，再对$p$求导，得

$$\frac{\partial \log g(p)}{\partial p}=\frac{1}{B(\alpha ,\beta )}(\frac{k+\alpha -1}{p}-\frac{n-k+\beta -1}{1-p})$$

  令上式等于0，得${\displaystyle \hat{p}=\frac{k+\alpha -1}{n+\alpha +\beta -2}}$，其中$\alpha ,\beta$为beta分布的参数。

  所以最大后验概率估计得到${\displaystyle P(X=1)=\frac{k+\alpha -1}{n+\alpha +\beta -2}}$

解法二：求后验概率分布的期望

  后验概率分布的期望求解
  参考Wiki（英文）：https://en.wikipedia.org/wiki/Bayes_estimator

  贝叶斯估计中的最大后验概率估计，得到的是模型参数$\theta$这个随机变量的后验分布的众数，通常被认为是点估计。而贝叶斯方法的特点是使用分布来总结数据和得出推论，因此贝叶斯方法倾向于得到后验均值或中值，以及可信区间。
  贝叶斯估计，利用后验分布的期望（均值）作为参数的估计值的方法，前两步与最大后验概率估计相同，第3、4步如下：
3. 利用贝叶斯公式，求$\theta$的后验概率：${\displaystyle P(\theta |D)=\frac{P(D|\theta )P(\theta )}{{\displaystyle \underset{\mathrm{\Theta }}{\int }P(D|\theta )P(\theta )d\theta }}}$
4. 计算后验概率分布参数$\theta$的期望，并求出贝叶斯估计值：${\displaystyle \hat{\theta }=\underset{\mathrm{\Theta }}{\int }\theta \cdot P(\theta |D)d\theta }$

  已知似然函数和参数$p$的先验分布，参数$p$的后验分布为：

$$\begin{array}{rl}P(p|X)& =\frac{P(X|p)\pi (p)}{{\displaystyle \int P(X|p)\pi (p)dp}}\\ & =\frac{{\displaystyle \frac{1}{B(\alpha ,\beta )}{p}^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}}}{{\displaystyle \int \frac{1}{B(\alpha ,\beta )}{p}^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}dp}}\\ & =\frac{p^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}}{{\displaystyle \int p^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}dp}}\\ & =\frac{1}{B(k+\alpha ,n-k+\beta )}{p}^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}\\ & \sim \text{Be}(k+\alpha ,n-k+\beta )\end{array}$$

  后验概率分布的期望:

$$\begin{array}{rl}{E}_p(p|X)& =E_p(\mathrm{B}\mathrm{e}(k+\alpha ,n-k+\beta ))\\ & =\frac{k+\alpha }{(k+\alpha )+(n-k+\beta )}\\ & =\frac{k+\alpha }{n+\alpha +\beta }\end{array}$$

  则以参数的后验概率分布的期望作为贝叶斯估计的参数值：

$${\displaystyle \hat{p}=\frac{k+\alpha }{n+\alpha +\beta }}$$

  所以贝叶斯估计得到${\displaystyle P(X=1)=\frac{k+\alpha }{n+\alpha +\beta }}$

习题1.2

  通过经验风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。

解答：

解答思路：

1. 根据经验风险最小化定义，写出目标函数；
2. 根据对数损失函数，对目标函数进行整理；
3. 根据似然函数定义和极大似然估计的一般步骤（计算时需要取对数），可得到结论。

解答步骤：
  假设模型的条件概率分布是$P_{\theta }(Y|X)$，样本集$D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$，根据书中第17页公式(1.12)，对数损失函数为：

$$L(Y,P(Y|X))=-\log P(Y|X)$$

  根据书中第18页公式(1.15)，按照经验风险最小化求最优模型就是求解最优化问题：

$$\underset{f\in \mathcal{F}}{min}\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

  结合上述两个式子，可得经验风险最小化函数：

$$\begin{array}{rl}\underset{f\in \mathcal{F}}{\arg min}\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))& =\underset{f\in \mathcal{F}}{\arg min}\frac{1}{N}\sum _D[-\log P(Y|X)]\\ & =\underset{f\in \mathcal{F}}{\arg max}\frac{1}{N}\sum _D\log P(Y|X)\\ & =\underset{f\in \mathcal{F}}{\arg max}\frac{1}{N}\log \prod _{D}P(Y|X)\\ & =\frac{1}{N}\underset{f\in \mathcal{F}}{\arg max}\log \prod _{D}P(Y|X)\end{array}$$

  根据似然函数定义：${\displaystyle L(\theta )=\prod _D{P}_{\theta }(Y|X)}$，以及极大似然估计的一般步骤，可得：

$$\underset{f\in \mathcal{F}}{\arg min}\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))=\frac{1}{N}\underset{f\in \mathcal{F}}{\arg max}\log L(\theta )$$

  即经验风险最小化等价于极大似然估计，得证。

参考文献

【1】极大似然估计的一般步骤（来源于Wiki百科）：https://en.wikipedia.org/wiki/Maximum_likelihood_estimation
【2】贝叶斯估计（最大后验估计）的一般步骤（来源于Wiki百科）：https://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation
【3】极大似然估计和贝叶斯估计（来源于知乎）：https://zhuanlan.zhihu.com/p/61593112
【4】Beta分布（来源于Wiki百科）：https://zh.wikipedia.org/wiki/Β分布
【5】后验概率分布的期望求解（来源于Wiki百科）：https://en.wikipedia.org/wiki/Bayes_estimator