赞
踩
在求使得代价函数最小的参数θ中,也可以不用梯度下降法进行逐步递归求解,可以使用正规方程法(Normal Equation)一次性算出θ。用这种方法不需要进行特征缩放(feature scaling)。在特征数少的情况(吴恩达教授的标准是一万以下)用正规方程法更好,但如果特征数较多,计算量很大,会比较慢,这个时候还是采用梯度下降法比较好。
特征方程法介绍:
(1)现做如下规定:
假设有m个样本实例,每个样本有n个特征,则训练样本可记为:
其中表示第i个样本的第j个特征。
输出可记为:
参数可记为:
拟合的函数h(x)为:
加了正则化的代价函数为:
分式第一项为最初代价函数,第二项为正则化,令优化后的参数的值较小,以防止过拟合
代价函数的矩阵表示如下:
求导可得:
(2)第一项的求导:
有定理如下:若u=u(x),v=v(x),A不是x的函数,则有:
因此,第一项的求导为:
(3)第二项的求导:
第二项展开:
求导得:
(4)第三项的求导:
第三项展开:
求导得:
(5)第四项的求导:
(6)第五项的求导:
第五项展开:
这里的θ是从1开始的,但实际上从0开始也是可以的,这里为了与吴恩达教授课程保持一致在正则化的时候从1开始,即忽略偏置的正则化
因此第五项求导为:
(7)因此,将上面的求导整理可得:
从而得到:
其中:
对于非正则化的正规方程则:
另外,如果有,
一定不是奇异矩阵,可逆。因此,正则化还可以解决不可逆的问题
如果是非正则化,则可能是有两列是线性相关的,删除一个特征;亦或者可能是特征值过多,则删除一些特征值。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。