隐藏层及损失函数——【torch学习笔记】_隐藏层数学表示

建立隐藏层及损失函数

引用翻译：《动手学深度学习》

通过多类逻辑回归（也称为softmax回归）,将服装图像分为10个可能的类别。

为了达到这个目的，我们必须学会如何处理数据,将我们的输出转化为一个有效的概率分布（通过 “softmax”）。

如何应用一个适当的损失函数,以及如何对我们的参数进行优化。现在，我们已经涵盖了这些初步的内容。

我们就可以把注意力集中在使用深度神经网络设计强大的模型这一更令人兴奋的事业,使用深度神经网络设计强大的模型。

一、隐藏层

回顾一下，对于线性回归和softmax回归。我们通过单一的线性变换将我们的输入直接映射到我们的输出.

$$\hat{\mathbf{o}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{W}\mathbf{x}+\mathbf{b})$$

如果我们的标签真的与我们的输入数据有近似的线性函数关系，那么这种方法将是完美的。但是，线性是一个强有力的假设。线性意味着，无论我们试图预测什么目标值，增加每一个输入的值都会推动输出的值上升或下降，而不考虑其他输入的值。

有时这是有道理的。例如，我们试图预测一个人是否会偿还贷款。我们可以合理地想象，在其他条件相同的情况下，收入较高的申请人比收入较低的申请人更有可能还款。在这些情况下，线性模型可能表现良好，甚至很难被打败。

但是，在FashionMNIST中对图像进行分类的情况如何？增加(13,17)位置的像素的强度是否应该总是增加该图像描绘的是一个口袋书的可能性？这似乎很荒谬，因为我们都知道，如果不考虑像素之间的相互作用，你就无法从图像中获得意义。

二、线性模型的问题

作为另一个案例，考虑尝试对图像进行分类，根据它们是否描绘了猫或狗的黑白图像进行分类。

如果我们使用一个线性模型，我们基本上会说，对于每个像素，增加它的值（使其更白），一定会增加该图像描述狗的概率
或一定会增加图像中的猫的概率。我们会做出一个荒唐的假设，即区分猫和狗的唯一要求是区分猫和狗的唯一要求就是评估它们有多亮。
这种方法在包含黑狗和黑猫的作品中是注定要失败的。既有黑狗又有黑猫，以及白狗和白猫。

要弄清图像中所描述的内容，通常需要允许我们的输入和输出之间有更复杂的关系。

因此，我们需要有能力发现模式的模型，这些模式可能是由许多特征之间的相互作用来表征的。

我们可以克服线性模型的这些限制，并处理一类更普遍的函数。通过加入一个或多个隐藏层，最简单的方法是将许多神经元层堆叠在一起。

每一层都会反馈到上面的一层，直到我们产生一个输出。这种结构通常被称为 多层感知器。通常缩写为MLP。

MLP的神经网络图看起来像这样。

​

上面的多层感知器有4个输入和3个输出，中间的隐藏层包含5个隐藏单元。由于输入层不涉及任何计算，构建这个网络将包括实现2层计算。输入层的神经元与隐藏层的输入完全相连。同样地，隐藏层的神经元也完全连接到输出层的神经元。

三、从线性到非线性

我们可以用数学符号写出定义这个单隐层MLP的计算结果，如下：
h = W 1 x + b 1 o = W 2 h + b 2 y ^ = s o f t m a x ( o )

$$\begin{aligned} \mathbf{h} & = \mathbf{W}_1 \mathbf{x} + \mathbf{b}_1 \\ \mathbf{o} & = \mathbf{W}_2 \mathbf{h} + \mathbf{b}_2 \\ \hat{\mathbf{y}} & = \mathrm{softmax}(\mathbf{o}) \end{aligned}$$ hoy^​​=W1​x+b1​=W2​h+b2​=softmax(o)​

通过增加一层，我们增加了两组新的参数，但我们得到了什么交换？在上面定义的模型中，我们并没有为我们的麻烦取得任何成果！

我们的隐藏单元只是输入的线性函数，而输出（pre-softmax）也只是隐藏单元的线性函数。

一个线性函数的线性函数本身就是一个线性函数。

这意味着对于任何权重值，我们都可以用