吃瓜笔记--西瓜书学习笔记第三章_线性判别分析是凸

第三章 线性模型

机器学习三要素

1. 模型：根据具体问题，确定假设空间。
2. 策略：根据评价标准，确定选取最优模型的策略（通常会产生一个“损失函数”）。
3. 算法：求解损失函数，确定最优模型。

在学习算法时，根据机器学习三要素的大框架，确定模型是什么以及有哪些策略及算法。

3.2 线性回归

3.2.1 算法原理：线性模型，对输入样例各个特征进行线性加权得到预测的输出。

关于特征量化 对于离散特征，

• 若特征有序，如“大 中 小”，可按序量化为“小：1，中：2，大：3”；
• 若特征无序，如肤色，就可以表示为“黄：（1，0，0），黑：（0，1，0），白：（0，0，1）”。如果对于无序的特征按有序特征的方式量化，则会不恰当的引入序关系。

3.2.2 策略（损失函数）

• 最小二乘估计
• 极大似然估计

得出同样的损失函数（均方误差）（公式3.4）：
3.3.3 求解w，b
可证明线性回归的目标函数是一个凸函数，利用凸函数求最值的思路解得w和b，即公式3.7。

多线性回归：向量化Ew。

3.3 对数几率回归

3.3.1 算法原理：在线性模型的基础上套一个映射函数来实现分类功能。输出值范围为[0,1]，近似阶跃的单调可微函数即sigmoid函数。

3.3.2 策略（损失函数）

• 极大似然估计 概率质量函数（离散）
• 信息论 最小化相对熵-最小化交叉熵

得出同样的公式3.27：

3.3.3 算法：梯度下降，牛顿法（之后）。

3.4 线性判别分析

3.4.1 算法原理：找到投影方向，使得全体训练样本在该方向上投影后，

1. 异类样本的中心尽可能远。
2. 同类样本的方差尽可能小。

3.4.2 策略（损失函数）

3.4.3 求解w（拉格朗日乘子法）

3.5 多分类学习

很多二分类模型可以直接推广到多分类的情况。更多情形下，我们是利用二分类器解决多分类问题，这一过程涉及到对多分类任务进行拆分，以及对多分类器进行集成。

• OvO，即一对一。
• OvR，即一对其余。
• MvM，即多对多。

3.6 类别不平衡问题

类别不平衡问题：训练集内正类数目和负类数目相差悬殊。

解决办法：

• 欠采样
• 过采样
• 阈值转移法