当前位置:   article > 正文

机器学习笔记五:广义线性模型(GLM)_广义线性模型建模过程

广义线性模型建模过程

一.指数分布族

在前面的笔记四里面,线性回归的模型中,我们有这里写图片描述,而在logistic回归的模型里面,有这里写图片描述。事实上,这两个分布都是指数分布族中的两个特殊的模型。所以,接下来会仔细讨论一下指数分布族的一些特点,会证明上面两个分布为什么是指数分布族的特性情况以及怎么用到其他的模型上面去。
如果一类分布能够写成如下的形式,那么这个分布就能够被划归到指数分布族里面。
这里写图片描述
其中:

η 被称为这个分布的自然参数(natural parameter)或者canonical parameter
T (y) 被称为充分统计量(sufficient statistic) (在我们暂时用到的模型里面,你可以认为他就是 that T (y) = y)
a(η) 被称为log partition function. 这里写图片描述起到归一化常数的作用,确保这个分布累计起来为1。

当T , a,和b被选中固定之后,也就确定了一个分布的族,且以η为参数。如果我们改变η,我们就得到了不同的分布。
接下来我们看看怎么证明开始的那个伯努利分布和高斯分布是指数分布族里面的。

首先来看看伯努利分布:
伯努利分布可以写为一下的形式:
这里写图片描述
其中y的取值为0或者1,这个太简单了,就不多解释了。我们的目标就是选择a,b,T,使得这里写图片描述变为上面的伯努利分布的形式。下面直接给出推导。
首先伯努利分布可以写成:
这里写图片描述
看这个式子的形式,把

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/722845
推荐阅读
相关标签
  

闽ICP备14008679号