CMU 10-414/714: Deep Learning Systems --hw0

hw0

宏观上的步骤：

1. softmax loss: 实现softmax loss代码
   • 概念
     • softmax就是将结果映射到0~1之间，且所有结果相加为1（概率形式）
     • cross-entropy loss就是计算 $p(x)\log q(x)$，此值可用于衡量实际输出与期望输出的距离，进而衡量预测模型与真实模型之间的差距，值越大说明越不准确。（p(x)为真实值，通常为0或1；q(x)为推算概率，在0~1之间）
     • Needle中的softmax loss更简单一些，就是计算 $-\log p(\text{ label }=y)$，即在输出中，让正确类别的概率值取负log
   • 公式：
     • softmax：
       $$\mathrm{softmax}\left({\mathrm{y}}_i\right)={\mathrm{y}}_i^{\prime }=\frac{e^{{\mathrm{y}}_i}}{{\sum }_{j=1}^n{e}^{{\mathrm{y}}_i}},\sum _{j=1}^n{\mathrm{y}}_i^{\prime }=1$$
       其中，神经网络的原始输出为 y 1 , y 2 , . . . , y n