热门标签
热门文章
- 12020-01-09：InsightFace项目实战（四）调用模型检测_insightface模型输出
- 22、golang开发工具VScode安装配置_vscode golang
- 3Eclipse的设置Preferences，与项目Project的设置Properties，以及它们之间的关系_eclipse的配置preferences
- 4小麦苗的常用代码--常用命令（仅限自己使用）--上_zhs_notify_tools_x=74px
- 5鸿蒙HarmonyOS实战-ArkUI动画（布局更新动画）_鸿蒙系统动画
- 6安装Python 3.6 在Ubuntu 16.04 LTS 版本
- 7神经网络模型和动态计算图、梯度计算与自动微分_自动微分 神经网络
- 8Deep Captioning with Multimodal Recurrent Neural Networks ( m-RNN )
- 9Guitar Pro吉他软件2024使用教程汇总
- 10node 14.19.0 版本成功解决：安装 node-sass 和 sass-loader 的过程及各 node 版本对应的 node-sass 版本号_node14版本对应的nodesass版本
当前位置: article > 正文
CMU 10-414/714: Deep Learning Systems --hw0_cmu deep learning systems
作者：我家自动化 | 2024-03-23 16:02:45
赞
踩
cmu deep learning systems
hw0
宏观上的步骤：
- softmax loss: 实现softmax loss代码
- 概念
- softmax就是将结果映射到0~1之间，且所有结果相加为1（概率形式）
- cross-entropy loss就是计算 p ( x ) log q ( x ) p(x)\log {q(x)} p(x)logq(x)，此值可用于衡量实际输出与期望输出的距离，进而衡量预测模型与真实模型之间的差距，值越大说明越不准确。（p(x)为真实值，通常为0或1；q(x)为推算概率，在0~1之间）
- Needle中的softmax loss更简单一些，就是计算 − log p ( label = y ) -\log p(\text { label }=y) −logp( label =y)，即在输出中，让正确类别的概率值取负log
- 公式：
- softmax：
softmax ( y i ) = y i ′ = e y i ∑ j = 1 n e y i , ∑ j = 1 n y i ′ = 1 \operatorname{softmax}\left(\mathrm{y}_i\right)=\mathrm{y}_i^{\prime}=\frac{e^{\mathrm{y}_i}}{\sum_{j=1}^n e^{\mathrm{y}_i}},\sum_{j=1}^n \mathrm{y}_i^{\prime}=1 softmax(yi)=yi′=∑j=1neyieyi,j=1∑nyi′=1
其中，神经网络的原始输出为 y 1 , y 2 , . . . , y n
- softmax：
- 概念
推荐阅读
相关标签
