热门标签
热门文章
- 1Linux基础命令篇之——压缩与解压（tar、gzip、bzip2、zip和unzip）_linux shell tar、gzip、bzip2
- 2IBM大型机模拟软件hercules的配置_[cobol]安装配置及大型机模拟hercules配置
- 3Windows下 Mysql8和Navicat下载和安装教程【带资源】_mysql-installer-community-8.0.30.0.msi
- 4中国联通元景大模型AI终端合作白皮书
- 5万字带你走过数据库的这激荡的三年_clickhouse与timescaledb
- 6Hello！GitHub 好用好玩值得收藏的开源项目集合~_new-pac
- 7机器人机械臂运动学——运动学正向解算_运动学解算
- 8Java基础之隐式类型转换
- 9为什么我的remix没有injected web3_remix的web3 provider没了
- 10Jetpack Compose详尽介绍_compose 按压效果
当前位置: article > 正文
PyTorch实现神经网络优化方法_pytorch神经网络与pso优化算法
作者：小桥流水78 | 2024-08-20 04:22:23
赞
踩
pytorch神经网络与pso优化算法
1. 了解不同的优化方法
1.1 动量法（Momentum）
该适用于隧道型曲面，梯度下降法在狭长的隧道型函数上表现不佳，如下图所示
- 函数主体缓缓向右方下降
- 在主体方向两侧各有一面高墙，导致垂直于主体方向有更大的梯
度 - 梯度下降法会在隧道两侧频繁震荡
而动量法每次更新都吸收一部分上次更新的余势。这样主体方向的更新就得到了更大的保留，从而效果被不断放大。物理上这就像是推一个很重的铁球下山，因为铁球保持了下山主体方向的动量，所以在隧道上沿两侧震荡测次数就会越来越少。
v t = γ v t − 1 + η
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小桥流水78/article/detail/1005168
推荐阅读
相关标签
