机器学习三要素

机器学习三要素是：

模型、策略、算法。

实现机器学习方法的步骤中，有如下步骤

实现求解最优模型的算法

通过学习算法选择最优模型

让我产生了一些疑惑，例如“线性回归是模型还是算法？”，“SVM是模型还是算法？”

 

模型

模型就是要学习的条件概率分布或决策函数。

例如线性回归模型：

                            $h_{\theta}(x) = \theta_{0} + \theta_{1}x_{1}+ \theta_{2}x_{2}+...+\theta_{n}x_{n}=\sum_{i=0}^{n}\theta_{i}x_{i}$

SVM的分类决策函数：

                           $h_{w,b} = sign(w^{T}x+b)$

策略

策略：按照什么样的准则学习或选择最优的模型。

引入损失函数(loss function)和代价函数(cost function)

• 损失函数是定义在单个样本上的，算的是一个样本的误差。
• 代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

以线性回归为例，损失函数选择平方损失函数：

                                          $L(\theta) = (h_{\theta}(x^{(i)})-y^{(i)})^{2}$

代价函数为：

                                          $L(\theta) =\frac{1}{m} \sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$

监督学习的两个基本策略：经验风险最小化和结构风险最小化。

在线性回归中，按照经验风险最小化求解模型就是求解最优化问题的：

                                          $min \frac{1}{m} \sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$

结构风险最小化就是求解最优化问题：

                                         $min \frac{1}{m} \sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}+\lambda J(h)$

$J(h)$是模型复杂度，$\lambda$是系数，用以权衡经验风险和模型复杂度。

 

算法

算法是学习模型的具体计算方法。

机器学习基于训练数据集，根据学习策略，选择最优模型的计算方法。

例如回归问题中，确定模型中每个$\theta _{i}$取值的计算方法，往往归结为最优化问题，我们知道它是有解析解的：

                                          $\theta =(X^{T}X)^{-1}X^{T}y$

(推导过程详见多元回归 矩阵方式求解最优参数θ)

但通常解析解不存在，这就需要用数值计算的方法求解。