赞
踩
训练神经网络主要围绕以下四个方面:
由上图可以看出来:多个层链接在一起组成了网络,将输入数据映射为预测值。然后损失函数将预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。
神经网络的基本数据结构是层。层是一个数据处理模块,即将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的,但大部分的层都是有状态的,即层的权重。(权重是利用随机梯度下降学到的一个或多个张量,其中包含网络的知识)。
不同张量格式与不同的数据处理类型需要用到不同的层。比如:
在Keras中,构建深度学习模型就是将互相兼容的多个层拼接在一起,以简历有用的数据变换流程。具体指的是每一层只接收特定形状的输入张量,并返回特定形状的输出张量。
举以下这个例子:
from keras import layers layer = layers.Dense(32, input_shape=(784,)) # 有32个输出单元的密集层。
- 1
- 2
- 3
- 4
创建一个只接受第一个维度大小为784的2D张量(第0轴是批量维度,其大小没有指定,因此可以任意取值)作为输入张量。这个层将返回一个张量,第一个维度的大小变成了32。
因此,这个层后面只能连接一个接收32维向量作为输入的层。在使用Keras时,你无需担心兼容性,因为向模型中添加的层都会自动匹配输入层的形状。
form keras import models form keras import layers model = models.Sequentual() model.add(layers.Dense(32, input_shape=(784,))) model.add(layers.Dense(32))
- 1
- 2
- 3
- 4
- 5
- 6
其中第二层没有输入形状(input_shape)的参数,相反,它能够自动推导出输入形状等于上一层的输出形状。
深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠,将单一输入映射为单一输出。还有其他的网络拓扑结构:
网络的拓扑结构定义了一个假设空间。机器学习的定义:在预先定义好的可能性空间中,利用反馈信号的指引来寻找输入数据的有用表示。在选定好了网络拓扑结构,意味着将**可能性空间(即假设空间)**限定为一系列特定的张量运算,将输入数据映射为输出数据。然后,需要为这些张量运算的权重张量找到一组合适的值。
一旦确定了网络架构,还需要选择以下两个参数。
具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。但是,梯度下降过程必须基于单个标量损失值。因此,对于具有多个损失函数的网络,需要将所有损失函数取平均,变为一个标量值。
选择正确的目标函数对解决问题是非常重要的。网络的目的是使损失尽可能最小化,因此,如果目标函数与成功完成当前任务不完全相关,俺么网络最终得到的结果可能会不符合你的预期。
对于分类、回归、序列预测等常见问题,可以遵顼一些简单的指导原则来选择正确的损失函数。例如:
二分类问题,可以使用二元交叉熵(binary crossentropy)损失函数。
多分类问题,可以使用分类交叉熵(categorical crossentropy)损失函数。
回归问题,可以使用均方误差(mean-squared error)损失函数。
序列学习问题,可以用联结主义时序分类(CTC,connectionist temporal classification)损失函数。
序列学习问题,可以用联结主义时序分类(CTC,connectionist temporal classification)损失函数。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。