秋刀鱼在做梦

这个屌丝很懒，什么也没留下！

热门标签

热门文章

当前位置: article > 正文

机器学习笔记：初始化0的问题

作者：秋刀鱼在做梦 | 2024-07-10 13:10:05

赞

踩

机器学习笔记：初始化0的问题

1 前言

假设我们有这样的两个模型：

第一个是逻辑回归
- $a=sigmoid(w_1x_1+w_2x_2+b)$
第二个是神经网络
- $a_1=sigmoid(w_{11}x_1+w_{21}x_2+b_1)$
- $a_2=sigmoid(w_{12}x_1+w_{22}x_2+b_1)$
- $a_3=sigmoid(w_{13}1_1+w_{23}a_2+b_3)$

他们的损失函数都是交叉熵

sigmoid函数的导数：

他们能不能用0初始化呢？

2 逻辑回归

$a=sigmoid(w_1x_1+w_2x_2+b)$

2.1 求偏导

2.1.1 结论

2.1.2 L对a的偏导

2.1.3 对w1，w2求偏导

w2同理

2.1.4 对b偏导

2.2 参数更新与分析

w1,w2,b的梯度和w1,w2,b无关，所以初始化成0之后没有影响

3 神经网络

3.1 偏导

a3的部分和前面逻辑回归是一样的

3.1.1 a1部分推导

3.1.1.1 对a1的偏导

3.1.1.2 对w11,w21,b1的推导

3.2 初始化为0

3.2.1 w初始化为0，b初始化为0

3.2.2w初始化为0，b随机初始化

3.3 w随机初始化，b初始化为0

前向传播过程中，a1,a2均不为0，反向传播的过程中各参数均可以更新

更新幅度也不一样

参考内容：神经网络权重为什么不能初始化为0？ (qq.com)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/806382

推荐阅读

相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

闽ICP备14008679号