【机器学习】简答

1.什么是机器学习？

• 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。
• “训练”与“预测”是机器学习的两个过程，“模型”则是过程的中间输出结果，“训练”产生“模型”，“模型”指导 “预测”。计算机从给定的数据中学习规律，即从观测数据(样本)中寻找规律(模型)，并利用学习到的规律(模型)对未知或无法观测的数据进行预测。

2.根据数据集组成不同，通常可以把机器学习算法分为哪四类？

1. 监督学习：每组训练数据有一个明确的标签或结果。如分类、回归问题，本书介绍的算法中，神经网络、线性模型、支持向量机都是监督学习。
2. 无监督学习：数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。如聚类问题。
3. 半监督学习：介于监督学习与无监督学习之间一种机器学习方式，主要考虑如何利用少量的标签样本和大量的没有标签的样本进行训练和分类的问题
4. 强化学习：学习对象根据观察到的周围环境的反馈来做出判断，环境只给出评价（奖励）而非正确答案。如机器人控制。

 3.什么是版本空间？

        对假设空间（样本所有可能性的集合）采用自顶向下或自底向上的方法搜索并不断删除与训练集正例不一致的假设，直至剩余的都是与训练集一致的假设。这些与训练集一致的假设的集合称之为版本空间。

4.归纳偏好的原则

• 奥卡姆剃刀：在可能的多个模型中选择最简单最直接的模型
• 没有免费的午餐定理NFL：没有绝对好的算法，每种算法都有其适用的场景和局限性。要具体问题具体分析。 

5.机器学习、深度学习、人工智能的关系

 人工智能是目标，机器学习是手段，深度学习是算法。

6.过拟合和欠拟合

(1)过拟合：模型过于复杂，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降。训练集上表现好，测试集上表现差。

(2)欠拟合：模型过于简单，没有很好地捕捉到训练样本中数据特征，不能很好地拟合数据。训练集测试集表现都差。

---

造成过拟合的原因：

• 模型过于复杂
• 训练数据集样本单一或样本不足
• 数据噪声太大或干扰信息太多
• 训练迭代次数太多，对数据反复训练会让模型学到偶然的特征。

如何缓解过拟合？

• 采用合适的模型，控制模型复杂度
• 使用不同分布的数据训练。如数据增强，预训练。
• 使用图像裁剪方法对图像进行预处理
• 降低特征的数量
• L1、L2正则化，降低模型复杂度

7.三种评估方法及优劣 

• 留出法：直接将数据集D划分为两个互斥的集合，其中一个是训练集S，另一个为测试集T。一般采用分层采样保留类别比例
  • 优点：快速简洁，避免数据偏差
  • 缺点：对训练集、测试集的划分比例敏感
• 交叉验证法：将数据集分层采样划分为k个大小相似的互斥矛集，每次用k-1个子集的并集作为训练集，余下的子集作为测试集，最终返回k个测试结果的均值，称为k折交叉验证法。评估结果的稳定性和保真性很大程度取决于k的取值。
  • 优点：充分利用数据，能帮助进行参数调优
  • 缺点：数据集比较大时，训练模型的开销较大。
  • 特例：当k=样本数m时，为留一法，结果往往比较准确，但数据集大时，训练开销难以忍受。
• 自助法：对数据集D有放回采样m次得到训练集D，没有被采样到的样本作为测试集。
  • 优点：适用于数据集小，难以有效划分开训练集、测试集的样本
  • 缺点：但由于产生的数据集改变了初始的分布，会引入估计误差
• 数据不平衡情况：留出法和交叉验证法都可以采取分层采样，而自助法可能会进一步加剧类别分布的不平衡，所以类别不平衡情况不建议用自助法。

8.什么是调参？

        许多学习算法都有参数，参数配置不同，学得模型的性能会有显著差异。进行模型评估和选择时，除了要对适用学习算法进行选择，还需要对算法的参数进行设定，这就是调参。要调的不仅有算法超参数，还有模型参数。

9.回归的分类

• 线性回归：用于处理连续数值的问题，预测出来的结果是一个数字，如房价
• 逻辑回归（对数几率回归）：在线性回归拟合的直线或超平面上添加联系函数（这里是一个对数几率函数），预测结果是离散的分类，如判断一个瓜是否是好瓜

10.多分类学习策略及适用范围

利用二分类器解决多分类问题。

方法：

• ovo：对n个类别两两组合训练出n(n-1)/2个分类器，对每个样本得到这n(n-1)/2个分类器的预测结果，通过投票选出预测次数多的类别。
• ovr：对n个类别单独与其他类别组合训练出n个分类器，对每个样本得到这n个分类器的预测结果，如有正则直接选为正的那个类别，若有多个正，则选择置信度高的那个类别类别作为答案。
• mom：m次随机将n个类别划分为两半分别作为正负样本进行训练，采用纠错输出码技术，将每个类别每次划分的结果填入编码矩阵，每个类别就得到了一个m维的编码。对每个样本得到这m个分类器的预测结果，同样组成一个编码，计算这个编码与每个类别编码之间的距离，选择距离最小的那个类别作为最终结果。

适用范围：

• ovo：训练的分类器多，存储开销和测试时间大，但每次训练只有两个类的样例训练时间短。
• ovr：训练的分类器少，存储开销和测试时间小，但每次训练都要用到全部样例训练时间长。
• mom：可以根据具体任务和数据集特性设计更复杂的分类策略，以平衡不同类别之间的关系。

 

11.偏差方差和噪声

• 偏差是预测值和真实值之间的差别，刻画算法拟合能力。偏差大可能是欠拟合问题，可以增加训练迭代次数、获取更多特征。
• 方差是在不同训练集上得到的预测结果的差异，刻画数据扰动影响。方差大可能是过拟合问题，可以增加训练数据、添加正则化项解决。
• 噪声是当前任务任何算法所能达到的泛化误差的下界，刻画问题本身的难度。 

12.决策树剪枝的目的

是对付“过拟合”的主要手段 

13.激活函数和线性分类器的关系

• 线性分类器是使用一个“超平面”将正负样本隔离开的模型，如对数几率回归、感知机、支持向量机（未引入核函数的话）
• 激活函数引入非线性因素，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题，如线性不可分的问题，使得神经网络能够学习和表示更复杂的函数和模式，大大提高了神经网络的表达能力和泛化能力。 （支持向量机引入核函数也可以解决线性不可分问题）
  • 感知机虽然使用了激活函数，但由于其单层结构，其决策边界仍然是线性的，因此无法解决非线性可分问题。
  • 要解决非线性问题，需要至少两层神经网络。多层神经网络通过组合多个线性函数和非线性激活函数，能够逼近任意非线性函数，从而解决线性不可分的问题。

14.支持向量机和神经网络关系

• 对于非线性问题，SVM通过引入核函数将输入空间映射到高维空间，使得原本线性不可分的数据在高维空间中变得线性可分。
• 神经网络则是通过增加隐藏层和使用非线性激活函数（如sigmoid、ReLU等）来引入非线性因素，使得网络能够学习和表示更复杂的函数和模式，从而解决非线性问题。

15.贝叶斯学派、贝叶斯决策论和贝叶斯分类器之间的联系

概率模型训练=参数估计，对于参数估计有两个学派：

1.频率主义学派：参数是固定值

2.贝叶斯学派：

• 贝叶斯学派：认为参数本身也有分布，引入了先验概率和后验概率的概念，通过贝叶斯公式将先验概率和似然函数(条件概率)结合，得到后验概率，从而对未知参数进行推断。 
• 贝叶斯决策论：利用先验概率和贝叶斯公式计算后验概率，然后根据后验概率大小进行决策分类。
• 贝叶斯分类器：是基于贝叶斯决策论构建的分类器，用于对新的数据样本进行分类。通过计算数据样本属于不同类别的后验概率，选择具有最大后验概率的类别作为该样本的所属类别。

 16.线性回归和逻辑回归区分

（1）线性回归

• 解决的是回归问题，用于预测连续性的变量
• 拟合一个y=wx+b的函数
• 通常使用最小二乘法来估计模型的参数w和b。最小二乘法通过最小化预测值与实际值之间的均方误差来求解。

（2）逻辑回归也叫对数几率回归

• 解决的是分类问题，用于预测的某个事件发生的概率，通常输出值在0到1之间。在线性模型基础上添加一个联系函数g(.)，将线性模型的输出映射到0到1之间，从而得到概率值。
• 拟合一个y=sigmoid(wx+b)的函数
• 使用极大似然估计来估计模型的参数，通过最大化样本数据的对数似然来求解参数。

17.线性判别分析LDA怎么求投影矩阵

1. 计算类内散度矩阵Sw和类间散度矩阵Sb
2. 想要最大化Sb同时最小化Sw，转化为最大化广义瑞利商问题J=W^TSbW/ W^TSwW
3. 对广义瑞利商问题求导为0转换为广义特征值问题求解WSb=λWSw
4. 对W求闭式解得d'个最大非零广义特征值所对应的特征向量组成的矩阵
5. W为所要求的投影矩阵，d'小于属性数d，可以通过这个投影减小样本维数实现了监督降维