最大信息系数java_相关性分析之最大互信息系数

最大互信息系数简介

互信息Mutual Information(MI)是用来评价一个事件的出现对于另一个事件的出现所贡献的信息量。在先前聚类算法的评估指标中有过简单的介绍。抛开公式，通俗的理解：原来我对X有些不确定(不确定性为H(X))，告诉我Y后我对X不确定性变为H(X|Y)，这个不确定性的减少量就是X,Y之间的互信息I(X;Y)=H(X)-H(X|Y)。互信息指的是两个随机变量之间的关联程度：即给定一个随机变量后，另一个随机变量不确定性的削弱程度，因而互信息取值最小为0，意味着给定一个随机变量对确定另一个随机变量没有关系，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性。

把互信息直接用于特征选择存在一些问题：

它不属于度量方式，也没有办法归一化，在不同数据及上的结果无法做比较

对于连续变量的计算不是很方便(X和Y都是集合, $x_i$, y 都是离散的取值)，通常变量需要先离散化，而互信息的结果对离散化的方式很敏感。

MIC 即：Maximal Information Coefficient 最大互信息系数克服了这两个问题。使用MIC来衡量两个基因之间的关联程度，线性或非线性关系，相较于Mutual Information(MI)互信息而言有更高的准确度。它首先寻找一种最优的离散化方式，然后把互信息取值转换成一种度量方式，取值区间在 [0,1]。

MIC的优越性

根据 MIC 的性质，MIC 具有普适性、公平性和对称性。所谓普适性，是指在样本量足够大(包含了样本的大部分信息)时，能够捕获各种各样的有趣的关联，而不限定于特定的函数类型(如线性函数、指数函数或周期函数)，或者说能均衡覆盖所有的函数关系。一般变量之间的复杂关系不仅仅是通过单独一个函数就能够建模的，而是需要叠加函数来表现。所谓公平性，是指在样本量足够大时能为不同类型单噪声程度相似的相关关系给出相近的系数。例如，对于一个充满相同噪声的线性关系和一个正弦关系，一个好的评价算法应该给出相同或相近的相关系数。

算法对比:

最大互信息系数原理

MIC基本原理会利用到互信息概念，互信息的概念使用以下方程来说明：