赞
踩
import numpy as np
import torch
from torchvision.datasets import mnist#导入pytorch内置的mnist数据
from torch import nn
from torch.autograd import Variable
#使用内置函数下载mnist数据集
train_set=mnist.MNIST('./data',train=True,download=True)
test_set=mnist.MNIST('./data',train=False,download=True)
a_data,a_label=train_set[0]
a_data
a_label
#转换成numpy array格式
a_data=np.array(a_data,dtype='float32')
print(a_data.shape)
print(a_data)
#对于神经网络,我们第一层的输入就是28*28=784,所以必须用reshape将其拉成一个一维数组
def data_tf(x):
x=np.array(x,dtype='float32')/255
x=(x-0.5)/0.5#标准化
x=x.reshape((-1,))#拉平
x=torch.from_numpy(x)
return x
#重新载入数据集,申明定义的数据变换
train_set=mnist.MNIST('./data',train=True,transform=data_tf,download=True)
test_set=mnist.MNIST('./data',train=False,transform=data_tf,download=True)
a,a_label=train_set[0]
print(a.shape)
print(a_label)
#使用pytorch自带的DataLoader定义一个数据迭代器
from torch.utils.data import DataLoader
train_data=DataLoader(train_set,batch_size=64,shuffle=True)
test_data=DataLoader(test_set,batch_size=128,shuffle=False)
#由于数据量太大,无法一次全部读入内存,所以需要使用python迭代器,每次生成一个批次的数据
a,a_label=next(iter(train_data))
#打印出一个批次的数据大小
print(a.shape)
print(a_label.shape)
#使用Sequential定义4层神经网络
net=nn.Sequential(
nn.Linear(784,400),
nn.ReLU(),
nn.Linear(400,200),
nn.ReLU(),
nn.Linear(200,100),
nn.ReLU(),
nn.Linear(100,10)
)
net
#定义loss函数,采用的是交叉熵损失函数
criterion=nn.CrossEntropyLoss()
optimizer=torch.optim.SGD(net.parameters(),1e-1)#使用梯度下降,学习率0.1
#开始训练
losses=[]
acces=[]
eval_losses=[]
eval_acces=[]
for e in range(20):
train_loss=0
train_acc=0
net.train()
for im,label in train_data:
im=Variable(im)
label=Variable(label)
#向前传播
out=net(im)
loss=criterion(out,label)
#反向传播
optimizer.zero_grad()
loss.backward()
optimizer.step()
#记录误差
train_loss+=loss.item()
#计算分类的准确率
_,pred=out.max(1)
num_correct=(pred==label).sum().item()
acc=num_correct/im.shape[0]
train_acc+=acc
losses.append(train_loss/len(train_data))
acces.append(train_acc/len(train_data))
#在测试集上检验效果
eval_loss=0
eval_acc=0
net.eval()#将模型改为预测模型
for im, label in test_data:
im=Variable(im)
label=Variable(label)
out=net(im)
loss=criterion(out,label)
#记录误差
eval_loss+=loss.item()
#记录准确率
_,pred=out.max(1)
num_correct=(pred==label).sum().item()
acc=num_correct/im.shape[0]
eval_acc+=acc
eval_losses.append(eval_loss/len(test_data))
eval_acces.append(eval_acc/len(test_data))
print('epoch:{},Train Loss:{:.6f},Train Acc:{:.6f},Eval Loss:{:.6f},Eval Acc:{:.6f}'.format(e,train_loss/len(train_data),train_acc/len(train_data),eval_loss/len(test_data),eval_acc/len(test_data)))
#画出loss曲线和准确率曲线
import matplotlib.pyplot as plt
%matplotlib inline
plt.title('train loss')
plt.plot(np.arange(len(losses)),losses)
plt.title('train acc')
plt.plot(np.arange(len(acces)),acces)
plt.title('test loss')
plt.plot(np.arange(len(eval_losses)),eval_losses)
plt.title('test acc')
plt.plot(np.arange(len(eval_acces)),eval_acces)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。