Alexnet+Mnist总结-由浅入深_alexnet mnist

一、经典神经网络Alexnet介绍

详见我的另一篇博客 ALexnet的介绍

二、经典数据集Mnist介绍

MNIST数据集介绍及从给定的API读取

三、构建网络步骤及优化操作

• 建立一个baseline，使网络能跑起来，输出训练精度与训练损失，测试精度与测试损失，验证精度与验证损失
• 添加dropout层，优化网络
• 添加记录损失函数值的功能，加入损失函数的集合，观察训练效果
• 改变keep_prob值，观察实验效果
• 添加学习率的优化及改进
• 在权重参数上实现L2正则化，加入损失函数的集合，观察训练效果
• 添加tensorboard，进行训练精度与训练损失，测试精度与测试损失，验证精度与验证损失的网络可视化，添加时间戳来记录训练与测试，验证文件夹
• 保存模型参数，保存精度最高的模型
• 预加载模型参数进行预测

四、源代码

github源代码链接

五、遇到问题及解决方案

tensorflow使用总结