赞
踩
前面博客有提
①创建虚拟环境
输入下面命令
conda create -n tfl python=3.6
#tfl是自己为创建虚拟环境取的名字,后面python的版本可以根据自己需求进行选择
②安装tensorflow和keras
pip install 包名
#直接这样安装可以由于网络的原因,安装失败或者安装很慢
#解决方式:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
#此次安装命令如下:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.14.0
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras==2.2.5
激活环境
activate
conda activate tf1
①输入层
用于数据的输入
②卷积层
使用卷积核进行特征提取和特征映射
③激励层
由于卷积也是一种线性运算,因此需要增加非线性映射
④池化层
进行下采样,对特征图稀疏处理,减少数据运算量。
⑤全连接层
通常在CNN的尾部进行重新拟合,减少特征信息的损失
整个结构图
①卷积层
上面图中是33的卷积核(卷积核一般采用33和2*2 )与上一层的结果(输入层)进行卷积的过程
②池化层
最大池化,它只是输出在区域中观察到的最大输入值
均值池化,它只是输出在区域中观察到的平均输入值
两者最大区别在于卷积核的不同(池化是一种特殊的卷积过程)
③全连接层
全连接过程,跟神经网络一样,就是每个神经元与上一层的所有神经元相连
①局部连接
每个神经元不再和上一层的所有神经元相连,而只和一小部分神经元相连。这样就减少了很多参数。
②权值共享
一组连接可以共享同一个权重,而不是每个连接有一个不同的权重,这样又减少了很多参数。
③下采样
可以使用Pooling来减少每层的样本数,进一步减少参数数量,同时还可以提升模型的鲁棒性。
下载数据集并解压到一个没有中文的路径上
https://pan.baidu.com/s/1f-MvZl7_J6DF7P9CGBY3SQ——提取码:ruyn
然后项目管理器中打开jupyter notebook(tfl)
选择如下
对猫狗图像进行分类,代码如下:
import os, shutil # 原始目录所在的路径 original_dataset_dir = 'E:\\Cat_And_Dog\\train\\' # 数据集分类后的目录 base_dir = 'E:\\Cat_And_Dog\\train1' os.mkdir(base_dir) # # 训练、验证、测试数据集的目录 train_dir = os.path.join(base_dir, 'train') os.mkdir(train_dir) validation_dir = os.path.join(base_dir, 'validation') os.mkdir(validation_dir) test_dir = os.path.join(base_dir, 'test') os.mkdir(test_dir) # 猫训练图片所在目录 train_cats_dir = os.path.join(train_dir, 'cats') os.mkdir(train_cats_dir) # 狗训练图片所在目录 train_dogs_dir = os.path.join(train_dir, 'dogs') os.mkdir(train_dogs_dir) # 猫验证图片所在目录 validation_cats_dir = os.path.join(validation_dir, 'cats') os.mkdir(validation_cats_dir) # 狗验证数据集所在目录 validation_dogs_dir = os.path.join(validation_dir, 'dogs') os.mkdir(validation_dogs_dir) # 猫测试数据集所在目录 test_cats_dir = os.path.join(test_dir, 'cats') os.mkdir(test_cats_dir) # 狗测试数据集所在目录 test_dogs_dir = os.path.join(test_dir, 'dogs') os.mkdir(test_dogs_dir) # 将前1000张猫图像复制到train_cats_dir fnames = ['cat.{}.jpg'.format(i) for i in range(1000)] for fname in fnames: src = os.path.join(original_dataset_dir, fname) dst = os.path.join(train_cats_dir, fname) shutil.copyfile(src, dst) # 将下500张猫图像复制到validation_cats_dir fnames = ['cat.{}.jpg'.format(i) for i in range(1000, 1500)] for fname in fnames: src = os.path.join(original_dataset_dir, fname) dst = os.path.join(validation_cats_dir, fname) shutil.copyfile(src, dst) # 将下500张猫图像复制到test_cats_dir fnames = ['cat.{}.jpg'.format(i) for i in range(1500, 2000)] for fname in fnames: src = os.path.join(original_dataset_dir, fname) dst = os.path.join(test_cats_dir, fname) shutil.copyfile(src, dst) # 将前1000张狗图像复制到train_dogs_dir fnames = ['dog.{}.jpg'.format(i) for i in range(1000)] for fname in fnames: src = os.path.join(original_dataset_dir, fname) dst = os.path.join(train_dogs_dir, fname) shutil.copyfile(src, dst) # 将下500张狗图像复制到validation_dogs_dir fnames = ['dog.{}.jpg'.format(i) for i in range(1000, 1500)] for fname in fnames: src = os.path.join(original_dataset_dir, fname) dst = os.path.join(validation_dogs_dir, fname) shutil.copyfile(src, dst) # 将下500张狗图像复制到test_dogs_dir fnames = ['dog.{}.jpg'.format(i) for i in range(1500, 2000)] for fname in fnames: src = os.path.join(original_dataset_dir, fname) dst = os.path.join(test_dogs_dir, fname) shutil.copyfile(src, dst)
分类后结果
查看分类后,对应目录下的图片数量:
#输出数据集对应目录下图片数量
print('total training cat images:', len(os.listdir(train_cats_dir)))
print('total training dog images:', len(os.listdir(train_dogs_dir)))
print('total validation cat images:', len(os.listdir(validation_cats_dir)))
print('total validation dog images:', len(os.listdir(validation_dogs_dir)))
print('total test cat images:', len(os.listdir(test_cats_dir)))
print('total test dog images:', len(os.listdir(test_dogs_dir)))
构建网络模型:
#网络模型构建 from keras import layers from keras import models #keras的序贯模型 model = models.Sequential() #卷积层,卷积核是3*3,激活函数relu model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3))) #最大池化层 model.add(layers.MaxPooling2D((2, 2))) #卷积层,卷积核2*2,激活函数relu model.add(layers.Conv2D(64, (3, 3), activation='relu')) #最大池化层 model.add(layers.MaxPooling2D((2, 2))) #卷积层,卷积核是3*3,激活函数relu model.add(layers.Conv2D(128, (3, 3), activation='relu')) #最大池化层 model.add(layers.MaxPooling2D((2, 2))) #卷积层,卷积核是3*3,激活函数relu model.add(layers.Conv2D(128, (3, 3), activation='relu')) #最大池化层 model.add(layers.MaxPooling2D((2, 2))) #flatten层,用于将多维的输入一维化,用于卷积层和全连接层的过渡 model.add(layers.Flatten()) #全连接,激活函数relu model.add(layers.Dense(512, activation='relu')) #全连接,激活函数sigmoid model.add(layers.Dense(1, activation='sigmoid'))
查看模型各层的参数状况:
#输出模型各层的参数状况
model.summary()
配置优化器:
loss:计算损失,这里用的是交叉熵损失
metrics:列表,包含评估模型在训练和测试时的性能的指标
from keras import optimizers
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=1e-4),
metrics=['acc'])
图片格式转化
所有图片(2000张)重设尺寸大小为 150x150 大小,并使用 ImageDataGenerator 工具将本地图片 .jpg 格式转化成 RGB 像素网格,再转化成浮点张量上传到网络上。
from keras.preprocessing.image import ImageDataGenerator # 所有图像将按1/255重新缩放 train_datagen = ImageDataGenerator(rescale=1./255) test_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( # 这是目标目录 train_dir, # 所有图像将调整为150x150 target_size=(150, 150), batch_size=20, # 因为我们使用二元交叉熵损失,我们需要二元标签 class_mode='binary') validation_generator = test_datagen.flow_from_directory( validation_dir, target_size=(150, 150), batch_size=20, class_mode='binary')
查看上述图像预处理过程中生成器的输出,
查看上述图像预处理过程中生成器的输出,
#查看上面对于图片预处理的处理结果
for data_batch, labels_batch in train_generator:
print('data batch shape:', data_batch.shape)
print('labels batch shape:', labels_batch.shape)
break
开始训练模型
#模型训练过程
history = model.fit_generator(
train_generator,
steps_per_epoch=100,
epochs=30,
validation_data=validation_generator,
validation_steps=50)
保存模型。
#保存训练得到的的模型
model.save('G:\\Cat_And_Dog\\kaggle\\cats_and_dogs_small_1.h5')
结果可视化(需要在 tf1 虚拟环境中安装 matplotlib 库,命令:pip install matplotlib -i “https://pypi.doubanio.com/simple/”)。
#对于模型进行评估,查看预测的准确性 import matplotlib.pyplot as plt acc = history.history['acc'] val_acc = history.history['val_acc'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(len(acc)) plt.plot(epochs, acc, 'bo', label='Training acc') plt.plot(epochs, val_acc, 'b', label='Validation acc') plt.title('Training and validation accuracy') plt.legend() plt.figure() plt.plot(epochs, loss, 'bo', label='Training loss') plt.plot(epochs, val_loss, 'b', label='Validation loss') plt.title('Training and validation loss') plt.legend() plt.show()
上面建完的模型就保留着,我们重新建一个 .ipynb 文件,重新开始建模。
首先猫狗图像预处理,只不过这里将分类好的数据集放在 train2 文件夹中,其它的都一样。
然后配置网络模型、构建优化器,然后进行数据增强,代码如下:
图像数据生成器增强数据:
from keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
rotation_range=40,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True,
fill_mode='nearest')
查看数据增强结果
import matplotlib.pyplot as plt # This is module with image preprocessing utilities from keras.preprocessing import image fnames = [os.path.join(train_cats_dir, fname) for fname in os.listdir(train_cats_dir)] # We pick one image to "augment" img_path = fnames[3] # Read the image and resize it img = image.load_img(img_path, target_size=(150, 150)) # Convert it to a Numpy array with shape (150, 150, 3) x = image.img_to_array(img) # Reshape it to (1, 150, 150, 3) x = x.reshape((1,) + x.shape) # The .flow() command below generates batches of randomly transformed images. # It will loop indefinitely, so we need to `break` the loop at some point! i = 0 for batch in datagen.flow(x, batch_size=1): plt.figure(i) imgplot = plt.imshow(image.array_to_img(batch[0])) i += 1 if i % 4 == 0: break plt.show()
图片格式转化。
train_datagen = ImageDataGenerator( rescale=1./255, rotation_range=40, width_shift_range=0.2, height_shift_range=0.2, shear_range=0.2, zoom_range=0.2, horizontal_flip=True,) # Note that the validation data should not be augmented! test_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( # This is the target directory train_dir, # All images will be resized to 150x150 target_size=(150, 150), batch_size=32, # Since we use binary_crossentropy loss, we need binary labels class_mode='binary') validation_generator = test_datagen.flow_from_directory( validation_dir, target_size=(150, 150), batch_size=32, class_mode='binary')
开始训练并保存结果。
history = model.fit_generator(
train_generator,
steps_per_epoch=100,
epochs=100,
validation_data=validation_generator,
validation_steps=50)
model.save('E:\\Cat_And_Dog\\kaggle\\cats_and_dogs_small_2.h5')
结果可视化:
acc = history.history['acc'] val_acc = history.history['val_acc'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(len(acc)) plt.plot(epochs, acc, 'bo', label='Training acc') plt.plot(epochs, val_acc, 'b', label='Validation acc') plt.title('Training and validation accuracy') plt.legend() plt.figure() plt.plot(epochs, loss, 'bo', label='Training loss') plt.plot(epochs, val_loss, 'b', label='Validation loss') plt.title('Training and validation loss') plt.legend() plt.show()
在网络模型处添加一层
#退出层
model.add(layers.Dropout(0.5))
https://blog.csdn.net/ssj925319/article/details/117787737
https://blog.csdn.net/qq_43279579/article/details/117298169
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。