机器学习算法~异常检测_算法对输入的非法数据进行识别

异常检测(Anomaly Detection)

异常检测算法是一个非监督学习算法，意味着我们无法根据结果变量 y 的值来告诉我
们数据是否真的是异常的。我们需要另一种方法来帮助检验算法是否有效。当我们开发一个
异常检测系统时，我们从带标记（异常或正常）的数据着手，我们从其中选择一部分正常数
据用于构建训练集，然后用剩下的正常数据和异常数据混合的数据构成交叉检验集和测试
集。
例如：我们有 10000 台正常引擎的数据，有 20 台异常引擎的数据。 我们这样分配数
据：
6000 台正常引擎的数据作为训练集
2000 台正常引擎和 10 台异常引擎的数据作为交叉检验集
2000 台正常引擎和 10 台异常引擎的数据作为测试集 
具体的评价方法如下：
1. 根据测试集数据，我们估计特征的平均值和方差并构建 p(x)函数
2. 对交叉检验集，我们尝试使用不同的 ε 值作为阀值，并预测数据是否异常，根据 F1
值或者查准率与查全率的比例来选择 ε
3. 选出 ε 后，针对测试集进行预测，计算异常检验系统的 F1 值，或者查准率与查全
率之比

上图是 5 个不同的模型，从左往右依次分析：
1. 是一个一般的高斯分布模型
2. 通过协方差矩阵，令特征 1 拥有较小的偏差，同时保持特征 2 的偏差
3. 通过协方差矩阵，令特征 2 拥有较大的偏差，同时保持特征 1 的偏差
4. 通过协方差矩阵，在不改变两个特征的原有偏差的基础上，增加两者之间的正相关
性
5. 通过协方差矩阵，在不改变两个特征的原有偏差的基础上，增加两者之间的负相关

多元高斯分布模型与原高斯分布模型的关系：
可以证明的是，原本的高斯分布模型是多元高斯分布模型的一个子集，即像上图中的第
1、2、3，3 个例子所示，如果协方差矩阵只在对角线的单位上有非零的值时，即为原本的
高斯分布模型了。

区别在于前者能够自动获取特征之间的依赖关系而后者不能(后者假设特征之间是独立的)。
当特征数n很大时，前者计算代价高昂而后者计算速度快。前者适用于m>n(一般要求m>10n)

而后者m很小的时候依旧适用。