深度学习易混淆小知识积累—特征选择/特征抽取/学习率衰减/梯度裁剪_梯度剪裁和权重衰减

特征选择

一个样本会有多个特征，例如西瓜包括纹理、颜色、甜度等特征，特征选择的意义即在于原始特征集合中选择一个子集，使得模型效果最好，例如在西瓜的纹理、颜色、甜度、根蒂等原始特征中选择纹理和颜色两个特征子集，去除冗余信息。一句话总结：在原始特征集合中选取特征子集。

特征抽取

特征抽取是将原始特征空间映射到新的特征空间，例如从三维空间映射到二维空间，其目的在于使用较少的特征来表示原始特征空间中的绝大部分信息，从而提高计算效率，减少维度灾难。常用方法包括主成分分析（PCA）和线性判别分析（LDA）

学习率衰减

学习率衰减是指神经网络经过几个epoch的训练后，逐渐减小学习率。使用学习率衰减的目的在于当神经网络的损失函数值来回震荡无法减少时，可通过尝试减小学习率的方式来降低损失函数值，个人思考原因是当学习率较大时，会导致权重的变化较大，从而无法使得函数值变化较大，无法进一步接近目标值。形象一点的理解就是某人前方有一个目标点，但是该人的步幅比较大，一步走过去超过了该目标点，发现超过了该目标点就返回来走，但是仍然是由于步幅较大，反方向又超过了该目标点，从而无法进一步接近这个目标点。

梯度裁剪

梯度裁剪比较容易理解，在神经网络中会出现梯度爆炸或者梯度消失的情况，梯度裁剪就是当梯度高于或低于某阈值时，将其直接设定为某个值，而不是让其按照原有的趋势增加或者减少。

权重和偏置的作用

以分类为例，分类算法的目的是找到一个平面来划分两类数据，此时权重的目的就是控制划分平面的方向，偏置的作用是控制划分平面的截距，其中偏置是很容易忽略掉的一个小参数，认为其作用不大，但是偏置却是很重要的，如果没有偏置（截距），划分平面只能1️⃣原点为“旋转点”进行旋转，此时是很难“旋转”到理想的位置的，但是如果有截距，划分平面就可以“旋转”加“平移”，比较容易找到理想的位置。