赞
踩
在上一篇文章中,我讲述了Logistic回归的原理以及它的梯度上升法实现。现在来研究Logistic回归的另一种
实现,即牛顿迭代法。
在上篇文章中,我们求出Logistic回归的似然函数的偏导数为
由于是一个多元函数,变元是,多元函数求极值问题以前已经讲过,参考如下文章
链接:http://blog.csdn.net/acdreamers/article/details/41413787
我们知道,极值点的导数一定均为零,所以一共需要列出个方程,联立解出所有的参数。
当然,这里首先需要用Hessian矩阵来判断极值的存在性。方程组如下
这一共是个方程,现在的问题变为如何解这个方程组。求Hessian矩阵就得先求二阶偏导,即
把Hessian矩阵表示出来,那么有
所以得到Hessian矩阵,可以看出矩阵是负定的,那么现在我来证明如果是负定的,那
么Hessian矩阵也是负定的。
证明:设任意的是n维列向量,因为是负定的,那么为二次型,也是负定的,又因为
所以也是负定的。
Hessian矩阵是负定的,也就是说多元函数存在局部极大值,这符合开始需求的最大似然估计。Hessian
矩阵描述了多元函数的局部曲率。有了这个Hessian矩阵,我们就可以用牛顿迭代法继续进行计算啦!
回想一下,对于一元函数我们是怎样通过牛顿迭代法求解零点的? 假设现在要求方程的解,
那么首先选取一个点作为迭代起始点,然后通过下面式子进行迭代,直到达到指定的精度为止。
原理详见:http://zh.m.wikipedia.org/wiki/%E7%89%9B%E9%A1%BF%E6%B3%95
有时候这个起始点的选取很关键,因为牛顿迭代法得到的是局部最优解,如果函数只存在一个零点,那么这个
点选取无关重要,但是如果存在多个局部最优解,一般是求指定在某个点附近的零点。对于Logistic
回归问题,Hessian矩阵对于任意数据都是负定的,所以说极值点只有一个,初始点选取无关紧要。
对于多元函数求解零点,同样可以用牛顿迭代法,对于上面的Logistic回归,可以得到如下迭代式子
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。