【深度学习】: MNIST手写数字识别

 清华大学驭风计划课程链接 

学堂在线 - 精品在线课程学习平台 (xuetangx.com)

代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主,可接实验指导1对1

有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~

案例2：构建自己的多层感知机: MNIST手写数字识别

相关知识点: numpy科学计算包，如向量化操作，广播机制等

1 数据集简介

       MNIST手写数字识别数据集是图像分类领域最常用的数据集之一，它包含60,000张训练图片，10,000张测试图片，图片中的数字均被缩放到同一尺寸且置于图像中央，图片大小为28×28。MNIST数据集中的每个样本都是一个大小为784×1的矩阵(从28×28转换得到)。MNIST数据集中的数字包括0到9共10类，如下图所示。注意，任何关于测试集的信息都不该被引入训练过程。

       在本次案例中，我们将构建多层感知机来完成MNIST手写数字识别。

2 构建多层感知机

        本次案例提供了若干初始代码，可基于初始代码完成案例，各文件简介如下：
（运行初始代码之前请自行安装TensorFlow 2.0及以上版本，仅用于处理数据集，禁止直接调用TensorFlow函数）

lmlp.ipynb包含了本案例的主要内容，运行文件需安装Jupyter Noterbook.

lnetwork.py定义了网络，包括其前向和后向计算。

loptimizer.py定义了随机梯度下降(SGD)，用于完成反向传播和参数更新。

lsolver.py定义了训练和测试过程需要用到的函数。

lplot.py用来绘制损失函数和准确率的曲线图。

       此外，在/criterion/和/layers/路径下使用模块化的思路定义了多个层，其中每个层均包含三个函数：__init__用来定义和初始化一些变量，forward和backward函数分别用来完成前向和后向计算：

lFCLayer为全连接层，输入为一组向量（必要时需要改变输入尺寸以满足要求），与权重矩阵作矩阵乘法并加上偏置项，得到输出向量: 

.

lSigmoidLayer为sigmoid激活层，根据

计算输出。

lReLULayer为ReLU激活层，根据

计算输出。

lEuclideanLossLayer为欧式距离损失层，计算各样本误差的平方和得到: 

。

lSoftmaxCrossEntropyLossLayer可以看成是输入到如下概率分布的映射：

其中

是输入向量X中的第k个元素，

该输入被分到第k个类别的概率。由于softmax层的输出可以看成一组概率分布，我们可以计算delta似然及其对数形式，称为Cross Entropy误差函数：

其中

       注意：此处的softmax损失层与案例1中有所差异，本次案例中的softmax层不包含可训练的参数，这些可训练的参数被独立成一个全连接层。

3 案例要求

       完成上述文件里的‘#TODO’部分(红色标记的文件)，提交全部代码及一份案例报告，要求如下：

l记录训练和测试准确率，绘制损失函数和准确率曲线图；

l比较分别使用Sigmoid和ReLU激活函数时的结果，可以从收敛情况、准确率等方面比较；

l比较分别使用欧式距离损失和交叉熵损失时的结果；

l构造具有两个隐含层的多层感知机，自行选取合适的激活函数和损失函数，与只有一个隐含层的结果相比较；

l本案例中给定的超参数可能表现不佳，请自行调整超参数尝试取得更好的结果，记录下每组超参数的结果，并作比较和分析。

4实验结果

1，记录训练和测试准确率，绘制损失函数和准确率曲线图

2，比较分别使用 Sigmoid 和 ReLU 激活函数时的结果，可以从收敛情况、准确率等方面比较；

3，比较分别使用欧式距离损失和交叉熵损失时的结果

不同权重衰减值的结果比较：