当前位置:   article > 正文

【Pytorch】加载本地FashionMNIST数据文件_d2l.load_data_fashion_mnist(batch_size)

d2l.load_data_fashion_mnist(batch_size)

MNIST解决网上下载FashionMNIST数据集较慢的问题

文末包含FashionMNIST数据集资源

最近在学习沐神的深度学习,在Softmax的实现中,需要导入Fashion-MNIST数据集, 并设置数据迭代器的批量大小为256。

代码如下:

  1. import torch
  2. from IPython import display
  3. from d2l import torch as d2l
  4. batch_size = 256
  5. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

其中d2l.load_data_fashion_mnist要求从d2l包中加载数据集,而这里的数据集默认是亚马逊AWS下载,所以下载速度较慢,如下图:

于是根据终止程序以后的提示找到d2l文件中torch.py文件位置 

提示如下:

打开以后找到第234行(下方代码块第10、12行)。

  1. def load_data_fashion_mnist(batch_size, resize=None):
  2. """Download the Fashion-MNIST dataset and then load it into memory.
  3. Defined in :numref:`sec_fashion_mnist`"""
  4. trans = [transforms.ToTensor()]
  5. if resize:
  6. trans.insert(0, transforms.Resize(resize))
  7. trans = transforms.Compose(trans)
  8. mnist_train = torchvision.datasets.FashionMNIST(
  9. root="../data", train=True, transform=trans, download=True)
  10. mnist_test = torchvision.datasets.FashionMNIST(
  11. root="../data", train=False, transform=trans, download=True)
  12. return (data.DataLoader(mnist_train, batch_size, shuffle=True,
  13. num_workers=get_dataloader_workers()),
  14. data.DataLoader(mnist_test, batch_size, shuffle=False,
  15. num_workers=get_dataloader_workers()))

root="../data"改为root="./data"  # 使用项目文件同级地址下的已有的数据集

downloda=True改为download=False  # 不下载

如下:

  1. ```
  2. mnist_train = torchvision.datasets.FashionMNIST(
  3. root="./data", train=True, transform=trans, download=False)
  4. mnist_test = torchvision.datasets.FashionMNIST(
  5. root="./data", train=False, transform=trans, download=False)
  6. ```

保存之后重启Jupyter内核再次运行代码之后,没有提示下载。


 这里附上FashionMNIST数据集链接

链接:https://pan.baidu.com/s/1GyaSjSG-_NNEj1vJelJQJg 
提取码:PyFM 


声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/73111
推荐阅读
相关标签
  

闽ICP备14008679号