【机器学习刷题】

1、《机器学习》一书中写明：常用核函数包括线性核、多项式核、高斯核、拉普拉斯核、Sigmoid核。

 

2、因为维度不断增加就会增加整个数据空间的稀疏性，这样就更容易找到分类的超平面，所以降低维度可以帮助降低过拟合

 3、

sigmoid 函数映射之后取值范围为（0，1）

tanh函数映射之后取值范围（-1，1）

Relu函数映射之后取值范围（0，..）大于等于0

4、

5、常用的划分测试集和训练集的划分方法：留出法、交叉验证法、自助法

6、

7、Kmeans是聚类方法，典型的无监督学习方法。分类是监督学习方法

8、EM是一种迭代式的方法，它的基本思想就是：若样本服从的分布参数θ已知，则可以根据已观测到的训练样本推断出隐变量Z的期望值（E步），若Z的值已知则运用最大似然法估计出新的θ值（M步）。重复这个过程直到Z和θ值不再发生变化。

简单来讲：假设我们想估计A和B这两个参数，在开始状态下二者都是未知的，但如果知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。

9、

1).λ越大，对模型中参数的惩罚力度越大，因此会有更多的参数被训练为0，模型也就变得更加简单了。模型复杂度越低，方差小，但偏差大。

2).下图为不同λ下“训练误差”和“交叉验证误差”的变化

• 当λ很小时，模型处于“高方差”状态，“训练误差”很小，“交叉验证误差”较大
• 当λ很大时，模型处于“高偏差”状态，“训练误差”和“交叉验证误差”都很大

 

10、

11、 

12、

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

对于输入x，类别标签y：
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。 

13、

针对以下三个问题，人们提出了相应的算法
*1 评估问题： 前向算法
*2 解码问题： Viterbi算法
*3 学习问题： Baum-Welch算法(向前向后算法)

14、

 15、

常采用特征选择方法。常见的六种特征选择方法：

1）DF(Document Frequency) 文档频率

DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性

2）MI(Mutual Information) 互信息法

互信息法用于衡量特征词与文档类别直接的信息量。

如果某个特征词的频率很低，那么互信息得分就会很大，因此互信息法倾向"低频"的特征词。

相对的词频很高的词，得分就会变低，如果这词携带了很高的信息量，互信息法就会变得低效。

3）(Information Gain) 信息增益法

通过某个特征词的缺失与存在的两种情况下，语料中前后信息的增加，衡量某个特征词的重要性。

4）CHI(Chi-square) 卡方检验法

利用了统计学中的"假设检验"的基本思想：首先假设特征词与类别直接是不相关的

如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设，接受原假设的备则假设：特征词与类别有着很高的关联度。

5）WLLR(Weighted Log Likelihood Ration)加权对数似然

6）WFO（Weighted Frequency and Odds）加权频率和可能性

16、