模型选择标准_hannan-quinn criterion

若干个模型训练成功之后，如何判定模型的优劣呢？通常有AIC、BIC和HQ三个指标，分别解释如下
AIC赤池信息量
中文名字：赤池信息量 akaike information criterion
AIC是衡量统计模型拟合优良性的一种标准，由日本统计学家赤池弘次在1974年提出，它建立在熵的概念上，提供了权衡估计模型复杂度和拟合数据优良性的标准。
$$AIC=-2ln(L)+2k$$
一般而言，当模型复杂度提高（k增大）时，似然函数L也会增大，从而使AIC变小，但是k过大时，似然函数增速减缓，导致AIC增大，模型过于复杂容易造成过拟合现象。目标是选取AIC最小的模型，AIC不仅要提高模型拟合度（极大似然），而且引入了惩罚项，使模型参数尽可能少，有助于降低过拟合的可能性。
BIC贝叶斯信息量
中文名字：贝叶斯信息量 bayesian information criterion
$$BIC=-2ln(L)+ln(n)\cdot k$$
BIC考虑了样本的数量，kln(n)惩罚项在维数过大且训练样本数据相对较少的情况下，可以有效避免出现维度灾难现象。
HQ hannan-quinn criterion
hannan-quinn 准则
$$HQ=-2ln(L)+ln(ln(n))\cdot k$$
公式中，$L$为最大似然，$n$为样本量, $k$为模型的参数数量。

文章参考：https://blog.csdn.net/jteng/article/details/40823675