热门标签
热门文章
- 1【建议收藏】一万字图文并茂，终于有人把GPT的玩法整理全了_学习gpt
- 2微信小程序毕业设计-车视界系统项目开发实战(附源码+文档)
- 3CSS 网页布局（详解网页的布局构造）
- 4phpmailer发邮件常见的一些问题总结及使用案例_宝塔搭建 phpmailer 邮件无法发送
- 5指针中getnext（）和setnext（）函数的区别
- 6关于TokenPocket钱包Dapp开发的一些常见问题
- 7NVMe TCG安全数据存储简介_tcg opal
- 8产品经理之如何编写需求PRD文档&（医疗HIS项目详细案例模板）_his项目描述怎么写
- 9Windows运行可视化工具tensorboard_运行tensorboard
- 10C语言实现单向链表_#ifndef list
当前位置: article > 正文
Pytorch损失函数torch.nn.CrossEntropy()详解
作者：黑客灵魂 | 2024-07-25 03:35:49
赞
踩
nn.crossentropy
nn.CrossEntropy
原先我理解的交叉熵loss的计算步骤分为两步：
- 对网络输出做softmax得到y’；
- 使用公式
loss = -y*lny'计算最终loss。
我以为pytorch中的nn.CrossEntropy()对应第二步中的loss = -y*lny'。其实不是，nn.CrossEntropy()内部把1和2两步都做了，所以我们使用nn.CrossEntropy()的时候不需要对网络输出做softmax。
下面是闲扯
为了更好理解，我们把计算交叉熵loss的步骤分成3步（和上面的那两步是相同的操作）：
- 对网络输出做softmax得到y’；
- 对y’取ln；
- y==1对应位置上的lny’乘上 -1。
pytorch把操作1和2封装成了一个叫nn.LogSoftmax()的函数，把操作3封装乘成了nn.NLLLoss()。所以才有网上说的 nn.CrossEntropy() = nn.LogSoftmax() + nn.NLLLoss()。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/878157
推荐阅读
相关标签
