作品集：基于 CNN 卷积神经网络的图像分析（运用python）_python卷积神经网络损失函数图像

摘要：图像处理 (image processing) 又称为影像处理，是用计算机对图像进 行达到所需结果的技术。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。而图像作为人类感知世界的视觉基础，是人 类获取信息、表达信息和传递信息的重要手段，因此，图像处理技术对于现代 生活有着不可或缺的作用。提供的训练数据集给出了 1990 张 32X32=1024 像素的 RGB 图片，同时有着对应图片的标签；测试集包括499张图片数据，可是没有对应的标签。本文通过 python 语言，对如下两个问题进行分析处理。

第一个问题是简单指标的统计，由数据集可知，共 5 类，计算每一类图片 的 R、G、B 均值，标准差及其方差共 45 个指标。

第二个问题是建立图片判别模型，通过卷积神经网络，判别得出 499 张图 片中属于 5 类中哪个类别，通过图片判别模型得出来的效果为训练集准度为 0.9542，测试集拟合准度为 0.7839，采取了 adam 算法,早停法等来提高模型的 泛化能力，将训练集和验证集比例分为 9:1，其中训练集的准度为 0.9542，说 明模型已经训练得比较好，同时验证集准度为 0.7839 说明模型具有一定的泛化 能力，最后将模型代入对测试集 499 张图片生成标签，进行判别。

关键词：卷积神经网络，准度，图像判别

目录

1.问题一的求解

1.1 问题分析

1.2 数据处理结果

2. 问题 2 的建模与求解

2.1 问题分析

2.2 数据预处理

2.3 模型建立

2.3. 1 卷积神经网络

2.3.2 Adam 算法

2.3.3 数据增强

2.4 训练和判别结果

2.4.1 超参数的设置

2.4.2 模型设置

2.4.3 训练结果

2.4.4 判别结果

3.总结

4.附件

5.源码

---

表 3 每类图片 B 均值、方差及标准差

2.4.4 判别结果

通过生成的模型，对 tedata.txt 文件的测试数据对 RGB 数据进行拟合，产生生成 499张图片的标签，并放置于 submission.csv 文件，详见附件。

3.总结

本文的模型基于卷积神经网络，模型优点在于大大简化了模型复杂度，减少了模型的 参数，同时相比全连接的神经网络分类图像，它能从训练数据中推断空间结构。本文采用 了 adam 算法、早停法来防止模型出现局部最小和鞍点；采用了数据增强来解决训练集过少 的问题，同时一定程度上提升了模型的泛化能力。通过图片判别模型得出来的效果为训练 集准度为 0.9542，测试集拟合准度为 0.7839，采取了 adam 算法,早停法等来提高模型的泛 化能力，将训练集和验证集比例分为 9 :1，其中训练集的准度为 0.9542，说明模型已经训 练得比较好，同时验证集准度为 0.7839 说明模型具有一定的泛化能力。

而模型缺点在于，受限于训练集数量集过少，同时受限于机身配置，没有对模型进行 更深层数的设置。

4.附件

1.submission.csv

2.pythonhw.ipynb (python 源码文件)

3.trdata.txt

4.tedata.txt

5.trlab.txt

6.teseqn.txt

5.源码

5.源码
#import module
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
import tensorflow as tf
from  tensorflow.keras   import  datasets,   layers,  models,  regularizers, optimizers,callbacks
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import numpy as np
import matplotlib.image as mpimg
import seaborn as sns
%matplotlib inline
#load data and data cleaning
x = pd.read_table('trdata.txt',header=None)
x.loc[ :,0]
x = x.loc[ :,0].str.split(',',expand=True)
x[0] = x.loc[ :,0].str.replace('[','')
x[3071] = x.loc[ :,3071].str.replace(']','')
x = x.apply(pd.to_numeric)
r = np.array(x.loc[:,0:1023]).reshape(1990,32,32,1)
g = np.array(x.loc[ :,1024:2047]).reshape(1990,32,32,1)
b = np.array(x.loc[:,2048:3071]).reshape(1990,32,32,1)
x_train = np.concatenate((r,g,b),axis=3)
x_test = pd.read_table('tedata.txt',header=None)
x_test.loc[ :,0]
x_test = x_test.loc[:,0].str.split(',',expand=True)
x_test[0] = x_test.loc[ :,0].str.replace(' [','')
 
 
 
 
 
x_test[3071] = x_test.loc[ :,3071].str.replace(']','')
x_test = x_test.apply(pd.to_numeric)
r_1 = np.array(x_test.loc[:,0:1023]).reshape(499,32,32,1)
g_1 = np.array(x_test.loc[:,1024:2047]).reshape(499,32,32,1)
b_1 = np.array(x_test.loc[:,2048:3071]).reshape(499,32,32,1)
x_test = np.concatenate((r_1,g_1,b_1),axis=3)
a = pd.read_table('trlab.txt',header=None,sep=' ')
b = a.stack()
y= np.array(b)
y.reshape(1990,1)
# one-hot encoding
y_train = tf.keras.utils.to_categorical(y,5)
x['label'] = y
#第一小问,求每一类 RGB 的平均值
x['label'] = y
answer = []
for i in [0,1,2,3,4]:
df =  x[x['label'] == i]
for j in [0,1,2]:
A = df.loc[ :,1024*j:j*1024+1023]
A = np.array(A).flatten()
mean = round(np.mean(A),2)
answer.append(mean)
var = round(np.var(A),2)
answer.append(var)
std = round(np.std(A),2)
answer.append(std)
if j == 0 :
print('标签为 '+ str(i)+ f' 的 R 的平均值为{mean}.')
 
 
 
 
 
print('标签为 '+ str(i)+ f' 的 R 的方差为{var}.')
print('标签为 '+ str(i)+ f' 的 R 的标准差为{std}.')
elif j == 1 :
print('标签为 '+ str(i)+ f' 的 G 的平均值为{mean}.')
print('标签为 '+ str(i)+ f' 的 G 的方差为{var}.')
print('标签为 '+ str(i)+ f' 的 G 的标准差为{std}.')
else:
print('标签为 '+ str(i)+ f' 的 G 的平均值为{mean}.')
print('标签为 '+ str(i)+ f' 的 G 的方差为{var}.')
print('标签为 '+ str(i)+ f' 的 G 的标准差为{std}.')
answer_1                                                                        = pd.DataFrame(np.array(answer).reshape(5,9),columns= ['R_mean','R_var','R_std',' G_mean','G_var','G_std','B_mean','B_var','B_std'])
answer_1.to_csv ('answer_1.csv',index=True)
# Scale the data
X_train = x_train / 255.0
X_test = x_test / 255.0
#split the train and valid
x_train, x_val, y_train, y_val = train_test_split(x_train, y_train, test_size=0.1, random_state=0)
#constant
EPOCHS=200
NUM_CLASSES = 5
def build_model() :
model = models.Sequential()
 
#1st blocl
model.add(layers.Conv2D(32, (3,3), padding='same',
input_shape=x_train.shape[1:], activation='relu'))
 
 
 
 
 
model.add(layers.BatchNormalization())
model.add(layers.Conv2D(32, (3,3), padding='same', activation='relu')) model.add(layers.BatchNormalization())
model.add(layers.MaxPooling2D(pool_size= (2,2)))
model.add(layers.Dropout(0.2))
 
#2nd block
model.add(layers.Conv2D(64, (3,3), padding='same', activation='relu')) model.add(layers.BatchNormalization())
model.add(layers.Conv2D(64, (3,3), padding='same', activation='relu')) model.add(layers.BatchNormalization())
model.add(layers.MaxPooling2D(pool_size= (2,2)))
model.add(layers.Dropout(0.3))
 
 
#3d block
model.add(layers.Conv2D(128, (3,3), padding='same', activation='relu')) model.add(layers.BatchNormalization())
model.add(layers.Conv2D(128, (3,3), padding='same', activation='relu')) model.add(layers.BatchNormalization())
model.add(layers.MaxPooling2D(pool_size= (2,2)))
model.add(layers.Dropout(0.4))
 
 
#dense
model.add(layers.Flatten())
model.add(layers.Dense(NUM_CLASSES, activation='softmax'))
return model
model.summary()
early_stopping = callbacks.EarlyStopping(
min_delta=0.001, # minimium amount of change to count as an improvement
 
 
 
 
 
patience=20, # how many epochs to wait before stopping
restore_best_weights=True,
)
#image augmentation
datagen = ImageDataGenerator(
width_shift_range=0.2,
height_shift_range=0.2,
horizontal_flip=True,
)
datagen.fit (x_train)
model = build_model()
model.compile(loss='categorical_crossentropy',
optimizer='Adam',
metrics=['accuracy'])
#train
batch_size = 64
r       =       model.fit_generator(datagen.flow(x_train,       y_train,
batch_size=batch_size),
epochs=EPOCHS,
verbose=1,validation_data= (x_val,y_val) )
score = model.evaluate(x_val, y_val,
batch_size=batch_size)
print("\nTest score:", score[0])
print('Test accuracy:', score[1])
#data visualization
plt.figure(figsize= (12, 16))
plt.subplot(2, 2, 1)
plt.plot(r.history['loss'], label='Loss')
 
 
 
 
 
plt.plot(r.history['val_loss'], label='val_Loss')
plt.title('Loss Function Evolution')
plt.legend()
 
 
plt.subplot(2, 2, 2)
plt.plot(r.history['accuracy'], label='accuracy')
plt.plot(r.history['val_accuracy'], label='val_accuracy')
plt.title('Accuracy Function Evolution')
plt.legend()
plt.savefig('loss and accuracy',dpi=600, bbox_inches='tight') #predict
y_pred = model.predict(x_test)
classes_y=np.argmax(y_pred,axis=1)
h = pd.Series(classes_y)
df = pd.DataFrame(h,columns= ['类别'])
df.to_csv ('submission1.csv', index=True)
print("Your submission was successfully saved!")