深度学习需要数据，许许多多的数据。前文提到过的著名图像分类模型的训练都基于庞大的数据集。排名前三的训练数据集分别是：
ImageNet——150 万图像，1000 个对象分类/类别；图像处理常用的数据集ImageNet。
COCO——250 万图像，91 个对象分类；
PASCAL VOC——50 万图像，20 个对象分类。

MegaFace

官网：MegaFace

图像分类数据集

1、基础数据集

1.1、MNIST数据集

Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集简介+数据增强(将已有MNIST数据集通过移动像素上下左右的方法来扩大数据集为初始数据集的5倍)

1.2、CIFAR数据集

Dataset之CIFAR-10：CIFAR-10数据集简介、下载、使用方法之详细攻略

1.3、Fashion-MNIST数据集

Dataset之Fashion-MNIST：Fashion-MNIST数据集简介、下载、使用方法之详细攻略

1.4、PASCAL VOC数据集

Dataset之Pascal VOC：Pascal VOC(VOC 2012、VOC 2007) 数据集的简介、下载、使用方法详细攻略

1.5、ImageNet数据集

Dataset之ImageNet：ImageNet数据集简介、安装、使用方法之详细攻略

1.6、WebVision数据集

Dataset之WebVision：WebVision数据集简介、下载、使用方法之详细攻略

2、表面缺陷检测数据集

关于表面缺陷检测的文章，主要检测对象是:金属表面、液晶屏、建筑、输电线路等缺陷或异常检测对象。方法主要有分类方法、检测方法、重建方法和生成方法。论文的电子版本(PDF)放在“paper”文件夹中与日期对应的文件下。
https://github.com/Charmve/Surface-Defect-Detection/tree/master/Papers

CNN for Classfication
Image pyramid hierarchy idea and convolutional denoising autoencoder network to detect texture defects
Cascade autoencoder (CASAE) structure is used for segmentation and positioning of abnormal metal surface
Faster R-CNN for Defect Detection in Civil Engineering
Active learning for defect classification
An experiment of CNN: LCD screen anomaly detection
Deep learning & Transfer Learning
Segmentation Network for Magnetic Tile Defect Detection
Classic PHOTO Algorithm
Classic DCT Algorithm
An unsupervised scanning electron microscope image (SEM) detection method for nanofiber materials
Faster R-CNN Concrete Crack Detection
Multi-scale Convolutional Denoising Autoencoder Network Model
CNN for Classfication
Weibull
Neuro-Evolution
GAN for Defect Detection
GAN for Anomaly Detection
GAN for Defect Classfication
YOLO for Defect Classfication
Semi-supervised Method for Anomaly Detection
Use semantic segmentation methods for detection under small samples
SDD-CNN for Defect Detection
FCN for Defect Detection
Fabric Defect Detection

2.1、NEU表面缺陷数据库

数据集下载：http://faculty.neu.edu.cn/yunhyan/NEU_surface_defect_database.html

在东北大学(NEU)表面缺陷数据库中，收集了热轧带钢6种典型的表面缺陷，即卷缩皮(RS)、斑块(Pa)、裂纹(Cr)、点蚀面(PS)、夹杂物(In)和划痕(Sc)。该数据库包括1800张灰度图像:6种不同类型的典型表面缺陷各300个样本。
图1为六种典型表面缺陷的样本图像，每幅图像的原始分辨率为200×200像素。从图1中我们可以清楚地观察到类内缺陷在外观上存在较大差异，例如，划痕(最后一列)可能是水平划痕、垂直划痕、倾斜划痕等。同时，类间缺陷也具有相似的特征，如:滚入鳞片、裂纹和点蚀表面。此外，由于光照和材料变化的影响，类内缺陷图像的灰度值也会发生变化。总之，NEU表面缺陷数据库包含两大难题，即类内缺陷外观差异较大，类间缺陷方面相似，缺陷图像受光照和材料变化的影响。

2.2、在电激发光;图像中缺陷太阳能电池的视觉识别基准

数据集下载：https://github.com/zae-bayern/elpv-dataset

提供了从高分辨率光电组件的电致发光图像中提取的太阳能电池图像数据集。
该数据集包含2,624个样本，样本为300×300像素的8位灰度图像，包含44个不同退化程度的功能性和缺陷太阳能电池。注释图像中的缺陷可以是内在缺陷，也可以是外在缺陷，已知它们会降低太阳能组件的功率效率。所有的图像都在大小和透视方面进行了规范化。此外，在提取太阳能电池之前，用于捕获EL图像的相机镜头所引起的任何畸变都被消除了。

2.3、Kolektor表面缺陷数据集

数据集下载：/resources/kolektorsdd/
https://box.vicos.si/skokec/gostop/KolektorSDD.zip

该数据集是由Kolektor Group d.o.o.提供和注释的缺陷电气换向器图像构建的。具体地说，在电子换向器中嵌入的塑料表面观察到微观碎片或裂纹。每个换向器的表面积在8张不重叠的图像中被捕获。这些图像是在受控环境下拍摄的。数据集包括:

50件实物(有缺陷的电气换向器)
每件8面
共399张图片:
52张可见缺陷图像
347张图片，无任何缺陷
原图尺寸:
宽度:500像素
高度:从1240到1270像素
对于训练和评估图像，应该调整到512 x 1408像素

对于每个项目，缺陷只在至少一幅图像中可见，而两幅图像上有两个项目的缺陷，这意味着有52幅图像的缺陷可见。剩下的347张图片作为表面无缺陷的反面例子。

2.4、DeepPCB数据集

数据集下载：https://github.com/Charmve/Surface-Defect-Detection/tree/master/DeepPCB

DeepPCB:一个数据集包含1500对图像，每个图像由一个无缺陷的模板图像和一个对齐的测试图像组成，其中注释包括6种最常见的PCB缺陷的位置： open, short, mousebite, spur, pin hole and spurious copper。

2.5、天池竞赛—布匹疵点数据集

数据集下载：2019广东工业智造创新大赛
链接: https://pan.baidu.com/s/12kfZxdDjiA0qMwkoLIGtog 提取码: mb92

布匹疵点检验是纺织行业生产和质量管理的重要环节，人工智能和计算机视觉技术应用于纺织行业，其价值无疑是巨大的。本赛场聚焦布匹疵点智能检测，要求选手研究开发高效可靠的计算机视觉算法，提升布匹疵点检验的准确度，降低对大量人工的依赖，提升布样疵点质检的效果和效率。初赛阶段考察素色布瑕疵检测和分类能力，复赛阶段考察花色布的瑕疵检测和分类能力。数据描述深入佛山南海纺织车间现场采集布匹图像，制作并发布大规模的高质量布匹疵点数据集，同时提供精细的标注来满足算法要求。其中，素色布数据约8000张，花色布数据约12000张。

2.6、天池竞赛—铝型材表面瑕疵数据集

数据集下载：[飞粤云端2018]广东工业智造大数据创新大赛—智能算法赛赛题与数据-天池大赛-阿里云天池

铝型材是佛山南海的支柱性产业。在铝型材的实际生产过程中，由于各方面因素的影响，铝型材表面会产生裂纹、起皮、划伤等瑕疵，这些瑕疵会严重影响铝型材的质量。为保证产品质量，需要人工进行肉眼目测。然而，铝型材的表面自身会含有纹路，与瑕疵的区分度不高。传统人工肉眼检查十分费力，不能及时准确的判断出表面瑕疵，质检的效率难以把控。近年来，深度学习在图像识别等领域取得了突飞猛进的成果。铝型材制造商迫切希望采用最新的AI技术来革新现有质检流程，自动完成质检任务，减少漏检发生率，提高产品的质量，使铝型材产品的生产管理者彻底摆脱了无法全面掌握产品表面质量的状态。本次大赛选择南海铝型材标杆企业的真实痛点作为赛题场景，寻求解决方案，助力企业实现转型升级，提升行业竞争力。
大赛数据集里有1万份来自实际生产中有瑕疵的铝型材监测影像数据，每个影像包含一个或多种瑕疵。供机器学习的样图会明确标识影像中所包含的瑕疵类型。
使用某企业某一产线某一时间段获取的铝型材图片，训练算法来定位瑕疵所在位置以及判断瑕疵的类型。

2.7、弱监督学习下的工业光学检测

《Weakly Supervised Learning for Industrial Optical Inspection》
数据集下载：Weakly Supervised Learning for Industrial Optical Inspection | Heidelberg Collaboratory for Image Processing (HCI)

提出了一个用于统计纹理表面检测的综合基准语料库。我们希望它有助于进一步发展和基准分类算法的应用于工业光学检测。所有数据都是公开的，可以从这个页面下载。2007年DAGM研讨会的比赛，DAGM(德意志Arbeitsgemeinschaft毛皮Mustererkennung汽车集团,德国的章IAPR国际协会(模式识别)和GNSS(德国的欧洲神经网络社会章)提供了一个开放的竞争弱监督学习工业光学检验作为DAGM研讨会的一部分,在2007年举行。该竞赛的灵感来自于自动化光学检测可以显著降低工业质量控制的成本。参赛者必须设计一种分类算法:

检测各种统计纹理背景上的各种缺陷。
学习从弱标记的训练数据自动识别缺陷。
处理在开发时不知道其确切特征的数据。
自动调整所有参数，不需要任何人工干预。
跑步时间适中(本比赛训练时间为24小时，测试阶段为12小时)。
考虑了假阳性和假阴性决策的不对称成本(竞赛使用1:20)。

这些数据是人工生成的，但类似于现实世界中的问题。10个数据集中的前6个，记为开发数据集，应该用于算法开发。剩下的四个数据集，被称为比赛数据集，可以用来评估表现。研究人员应考虑在开发完成前不使用或分析竞赛数据集作为荣誉准则。在下面我们提供一些关于数据集的细节:

每个开发(竞赛)数据集包含1000 (2000)“无缺陷”及150 (300)“有缺陷的”图像保存在灰度8位PNG格式。
每个数据集由不同的纹理模型和缺陷模型生成。
“无缺陷”的图像显示的是没有缺陷的背景纹理，“有缺陷”的图像恰好在背景纹理上标注了一个缺陷。
所有数据集被随机分割成大小相等的训练和测试子数据集。
弱标签以椭圆的形式提供，粗略地指出缺陷区域。从技术上讲，有缺陷的图像是通过位于文件夹“Label”中的PNG格式的单独的8位灰度图像来增强的。值0和255分别表示背景和缺陷区域。

2.8、城市路面裂缝图像数据集

数据集下载：https://github.com/cuilimeng/CrackForest-dataset

CrackForest数据集是一个能够反映城市路面状况的标注路面裂缝图像数据库。

2.9、桥梁裂缝图像数据集

数据集下载：https://github.com/Charmve/Surface-Defect-Detection/tree/master/Bridge_Crack_Image

该数据集主要用于训练DBCC模型和桥梁裂缝检测。

2.10、磁瓦表面缺陷数据集

《Saliency of magnetic tile surface defects》
数据集下载：https://github.com/Charmve/Surface-Defect-Detection/tree/master/Magnetic-Tile-Defect

这是论文《Saliency of magnetic tile surface defects》的数据集。采集了6种常见磁瓦表面缺陷的图像，并对其像素级地面真值进行标记。表面缺陷显著性检测工具箱可以在https://github.com/abin24/Saliency-detection-toolbox找到。其中，我们的MCue和其他14个显著性检测模型是可用的。

2.11、铁轨表面缺陷数据集

数据集下载：http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx

RSDDs数据集包含两种类型的数据集：第一种是从快车道捕获的I型RSDDs数据集，其中包含67个具有挑战性的图像。第二个是从普通/重型运输轨道捕获的II型RSDDs数据集，其中包含128个具有挑战性的图像。两个数据集的每幅图像至少包含一个缺陷，并且背景复杂且噪声很大。 RSDDs数据集中的这些缺陷已由一些专业的人类观察员在轨道表面检查领域进行了标记。

2.12、Kylberg纹理数据集

数据集下载：Centre for Image Analysis

数据集描述

28个纹理类
每个职业有160个独特的纹理补丁。(Alternative dataset with 12 rotation per original patch, 160*12=1920纹理patch per class)
纹理补丁大小:576x576像素。
文件格式:无损压缩8位PNG格式。
对所有patch进行归一化，均值127，标准差40。
每个纹理类一个目录。
文件命名如下:blanket1-d-p011-r180。png，其中blanket1为类名，d为原始图像样本号(可能值为a、b、c或d)， p011为patch号11,r180 patch旋转180度。

3、自然风景类数据集

3.1、图像分类的多类天气数据集

数据集下载：Multi-class Weather Dataset for Image Classification - Mendeley Data

图像分类的多类天气数据集
发布日期:2018年9月13日
Published: 13 September 2018|Version 1|DOI:10.17632/4drtyfjtfy.1
Contributor:
Gbeminiyi Ajayi
Ajayi, Gbeminiyi (2018), “Multi-class Weather Dataset for Image Classification”, Mendeley Data, V1, doi: 10.17632/4drtyfjtfy.1

数据集描述：用于图像分类的多类天气数据集(MWD)是《利用异构集成方法从静止图像进行多类天气识别》研究论文中使用的有价值的数据集。数据集通过提取各种特征来识别不同的天气状况，为室外天气分析提供了平台。
该数据集包含四个类别：

cloudy
rain
shine
sunrise

4、建筑类数据集

4.1、室内场景数据集

数据集下载：MIT Indoor Scenes | Kaggle

这是MIT提供的原始数据。室内场景识别是高级视觉中一个具有挑战性的开放性问题。大多数场景识别模型在室外场景识别中效果较好，但在室内场景识别中效果较差。主要的困难在于，虽然一些室内场景(如走廊)可以通过整体空间属性很好地表征，但其他场景(如书店)则通过它们所包含的对象更好地表征。更普遍地说，为了解决室内场景识别问题，我们需要一个可以利用局部和全局区别信息的模型。
数据集描述：数据库包含67个室内类目，共15620幅图像。图片的数量因类别而异，但每个类别至少有100张图片。所有图片均为jpg格式。这里提供的图片仅供研究之用。

4.2、混凝土裂缝图像分类

数据集下载：Concrete Crack Images for Classification - Mendeley Data

Özgenel, Çağlar Fırat (2019), “Concrete Crack Images for Classification”, Mendeley Data, V2, doi: 10.17632/5y9wdsg2zt.2

数据集描述
数据集包含有裂缝的具体图像。数据收集自不同的meu校园建筑。
将数据集分为负裂纹图像和正裂纹图像进行分类。
每个类有20000张图像，总共40000张图像，227 x 227像素，RGB通道。
数据集由458张高分辨率图像(4032x3024 pixel)生成，采用Zhang等(2016)提出的方法。
高分辨率图像在表面光洁度和光照条件方面存在差异。
没有应用随机旋转或翻转方面的数据增强。

4.3、建筑遗产元素图像数据集

数据集下载：Architectural Heritage Elements image Dataset - Datasets - the Datahub

数据集描述
建筑遗产元素数据集(AHE)，是一个图像数据集，用于在建筑遗产图像分类中开发深度学习算法和特定技术。它受到CIFAR-10数据集的启发，但目标是开发有助于在文化遗产文献领域对图像进行分类的工具。大多数图片都是从Flickr和Wikimedia Commons获得的(它们都是在知识共享许可下获得的)。这个数据集包含10235张图像，分为10个类别:

拱点:514图像;
钟楼:1059幅图像;
柱子:1919图像;
圆顶(内部):616幅图像;
圆顶(外部):1177幅图像;
飞扶壁:407张图像;
|滴水嘴兽(和奇美拉):1571幅图像;
彩色玻璃:1033张图片;
库:1110的图像

更多数据集可以参考网站：Face Recognition Homepage - Databases

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/455316