ts引入公共方法_论文推荐 | 基于深度卷积特征的水下目标智能识别方法

温馨提示

如果你喜欢本文，请分享到朋友圈，想要获得更多信息，请关注我。

2019年第27卷第3期

基础研究

作者信息

作者：杜  雪,  廖泓舟,  张  勋 

单位：哈尔滨工程大学 海洋装置与控制技术研究所, 黑龙江 哈尔滨, 150001 

基金项目：国家青年自然科学基金项目资助(51709062); 哈尔滨市科技创新人才研究专项基金资助(2017RAQXJ150); 中央高校基本科研专项基金(HEUCFM180402). 

摘 要

无人水下航行器(UUV)由于本身的便利性和自主性在水下探测方面相比传统探测具有很大优势, 对UUV水下目标智能识别方法的研究具有重要意义。针对水下环境的高噪声、低对比度的特点, 文中首先使用中值滤波和局部增强处理进行水下图像预处理, 基于水下图像的小样本特点, 提出借鉴牛津大学视觉几何组网络(VGGNet)的逐层递增卷积层思想, 利用深度卷积神经网络(DCNN)设计水下智能识别框架并利用大数据集Cifar-10进行一次训练, 以学习图像通用特征; 同时使用迁移学习和数据增强技术进行二次学习, 以学习水下目标特有特征, 解决水下数据集不足的情况, 防止过拟合。通过仿真试验进行识别效果验证, 仿真结果表明, 在特定测试集下提出的水下目标智能识别方法在识别效果与自动化程度方面相比传统识别算法具有明显优势。 

0 引言

无人水下航行器(unmanned undersea vehicle, UUV)作为各种水下任务的辅助手段, 可避免作业人员在较危险的水下环境中工作, 且能很好的适应水下环境和开展水下任务^[1-2]。在民用领域, 其可用于水下电缆铺设、水下管道质量检测、水下设备的维护与维修、渔场监测等, 例如美国Ocean Seaver公司生产的Iver2 UUV已经被广泛用于环境监测和海洋勘探等领域^[3]; 在军用领域则可用于侦察、布雷、灭雷和援潜救生等, 比如美国海军著名的先进无人搜索系统(advanced unmanned search system, AUSS)能潜入海底6 100 m, 自动搜索水下目标并通过水下摄像机进行拍照, 实现对水下军事目标的搜索和跟踪任务^[4]。这些都是依据UUV对水下目标的识别而完成的。

目前水下目标的识别主要可以通过声视觉和光视觉2种方式。其中, 声视觉系统在远距离目标识别跟踪上占有绝对优势, 但由于受到声波的盲区和多通道效应的影响, 在近距离目标识别领域的发展受到限制; 相反, UUV可通过光视觉充分利用人工智能技术进行水下目标的探测和描述, 逐渐成为近距离水下目标识别跟踪的主要研究方向^[5]。传统的水下目标识别主要分为被识别信号获取、信号特征提取、目标识别3个过程^[6]。其中的特征提取是一个既费时费力又需大量经验的繁琐处理过程, 整个水下目标识别系统属于一个半自动化过程, 并于近年向全自动识别方向发展^[7]。基于此, 对水下智能目标识别方法的研究具有重要意义。借助于人工智能技术的蓬勃发展, 将基于深度学习的图像识别技术引入水下, 构建水下端到端的通用图像智能识别技术, 提高UUV在“看”方面的智能化水平, 使UUV学会“看得更多, 看得更准”, 将对UUV的智能化发展有着重大意义, 同时在军民融合的时代背景下, 能够进一步促进UUV的多用途化。

近几年, 国内外学者开始将深度学习技术引入水下进行目标智能识别。国外的公开研究主要是将深度学习技术用于水下声呐图像识别, 如Kim等^[8]提出了将深度卷积神经网络用于前视声呐图像, 对声呐图像中的遥控水下航行器(remotely operated vehicle, ROV)进行识别跟踪, 显著提高了识别准确度; Matias^[9]也将深度卷积神经网络用于前视声呐中多种目标物的检测和分类, 从而达到水下多目标检测分类的最好水平。

     国内的研究主要是海洋科学领域, 比如渔场监控任务, 通过视频采集技术借助深度学习理论对海洋生态系统进行无干扰监控和测量。Li等^[10-11]利用深度卷积神经网络对水下自由游动的鱼类进行了准确的检测与分类, 实现了无干扰情况下对海洋生态的监测与调查研究, 但其使用的网络结构并非真正意义上的深度网络, 此外可用的数据量需足够大。同时, 国内对声呐图像进行深度识别也在尝试中, Zhu等^[12]利用深度卷积神经网络对声呐图像进行特征提取, 再通过支持向量机(support vector machine, SVM)进行分类任务, 试验结果表明效果优于传统方向梯度直方图(histogram of oriented gradient, HOG)方法。王强等^[13]将卷积神经网络用于水下3类实测目标噪声数据的分类识别, 并与传统的SVM方法对比, 可知2种方法所得结果比较接近。但以上研究存在以下问题：一是将深度学习用于水下目标识别方法尚不成熟, 国内外的研究都是将其作为应用于水下的一种新尝试, 尚无完整的框架或理论; 二是国内外在声目标方面研究较多, 但相关水下光视觉图像的深度学习智能识别算法研究较少。针对以上问题, 文中从水下光视觉图像出发, 提出了一套水下光视觉图像智能识别框架并进行了仿真验证, 结果表明, 在特定测试集下提出的水下目标智能识别方法在识别效果与自动化程度方面相比传统识别算法具有明显优势。

1 水下图像预处理

1.1  图像滤波去噪

    水下光学图像相比水上光学图像具有更高的椒盐噪声, 文中先使用基于空域的中值滤波(median filter)进行图像去噪处理, 该方法对于非线性信号的处理有很好的效果, 运算快, 效率高, 中值滤波去噪原理如下。 

1) 中值输出

2) 滤波窗口 

3) 窗口尺寸

1.2  图像局部增强 

2 水下目标智能识别方法 2.1  水下图像智能识别原理

水下图像智能识别的核心是深度学习算法, 文中使用的是深度卷积神经网络。深度学习已在陆上图像识别领域快速发展, 各种人工智能(artificial intelligence, AI)应用纷纷落地, 技术的快速发展既取决于深度学习理论的不断发展, 也得益于各个领域数据的常年积累, 出现了各种各样的大数据集。目前大部分AI在某种层面上可以说是一种数据驱动型算法。而水下图像虽然种类多, 但单一图像数据量少, 普遍存在数据集不足的情况。为了解决这一问题, 提出使用迁移学习(transfer learning, TL)和数据增强技术防止产生少量数据集过拟合效应。其中, TL的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务^[15-16], 其提供了一种解决数据不足问题的新方法, 允许迁移已有的知识来解决目标领域中仅有少量已标注样本数据的学习问题, 也就是运用已有的知识对不同但相关领域问题进行求解。迁移学习可以定义为: 给定一个源领域D_s和学习任务T_s, 一个目标领域D_T和学习任务T_T, 其中D_s≠D_T和T_s≠D_T , 迁移学习的目的是使用D_s和T_s中的已有知识, 帮助提高目标领域D_T中目标预测函数f_T(∙) 的学习^[17-18]。数据增强是对数据进行随机上下左右翻转、颜色、光照变换和多尺度变换,可以有效增加水下数据集的数量。 

2.2  水下图像智能识别框架

        水下识别框架分为2个部分, 一是Cifar-10数据集训练设计好的深度卷积神经网络; 二是权值迁移, 增加一个全连接层并按分类结果改变输出神经元个数, 进行水下图像二次训练并识别。水下图像智能识别框架如图1所示。

图1  水下图像智能识别框架 

2.3  深度卷积神经网络设计方法

水下深度神经网络框架使用TensorFlow进行设计, TensorFlow是一种采用数据流图用于数值计算的开源库, 其计算通过“节点”和“线”来描述。

深度神经网络最显著的特点在于网络中可用于学习的参数量相比传统神经网络成倍剧增, 更多的参数意味着更强的学习能力, 也意味着更大的学习量。水下深度神经网络的设计思想借鉴牛津大学视觉几何组网络(visual geometry group net, VGGNet)。因此, 硬件计算能力和网络学习所需样本量也成倍剧增达到与之相匹配的程度, 在深度网络中样本不足会导致明显的过拟合效应。对于特征提取能力强的卷积网络, 网络深度的增加体现在卷积核的骤增, 而实际操作中可以在某一层上增加卷积核个数即增加网络宽度, 也可以通过增加网络层数来增加卷积核个数, 即增加网络深度。由于卷积核按照局部感受野提取特征, 一个卷积核提取一种相应特征, 增加网络宽度能在一定程度上提高特征提取的能力, 但只在宽度上进行扩展, 特征量虽多但是比较具体, 如点、线和边等具体特征, 而卷积层之间的映射相当于特征之间的融合, 随着深度的扩展, 底层特征经过逐层映射, 特征越来越抽象, 更利于目标的识别。因此, 深度卷积神经网络(deep convolutional neural networks, DCNN)的设计原则应遵循深度扩展优于宽度扩展, 同时增加每层宽度的原则。

       卷积核大小的增加只是深度卷积的一个方面,卷积核的尺寸对网络的特征提取能力也有着重要的影响，传统DCNN中常用的卷积尺寸有5×5、7×7等，不同尺寸的卷积核在不同的问题上有不一样的识别效果。随着网络深度和卷积核个数的增加，小尺寸卷积核更适用于深度网络，因为1个5×5的感受野等于2个3×3感受野，如图2所示。因此，1个5×5的卷积层可以被2个3×3的卷积层替代，网络信息传递一样的情况下网络的非线性得到增强，同时降低了网络参数，类似的7×7的卷积层可以被3个3×3的卷积层代替。

图2  感受野等价图

DCNN的另一个特殊结构是池化层, 其作用主要是降低特征图大小来简化网络计算复杂度和进行特征压缩来提取主要特征。实际工程经验表明, 池化层紧跟卷积层效果比较好, 平均池化和最大值池化最常用, 二者无显著差别。

DCNN在数据量不匹配时容易出现过拟合效应, 采用Dropout策略和L1、L2正则化能在一定程度上降低深度网络的过拟合效应。此外, DCNN由于网络参数的骤增和样本分布的差异性易导致网络难以训练, 采用批归一化(batch normalization, BN)方法能加快网络的收敛性。

      综上所述, 水下深度神经网络的设计过程遵循优先进行深度扩展, 即增加卷积核的层数, 其次进行宽度扩展, 即增加各层的卷积核个数。卷积核尺寸优先选择小尺寸, 如3×3。数据集足够的情况下可以考虑增加1×1卷积核来增强网络的非线性, 以便获得更好的学习特征。深度网络设计的优劣以网络深度增加过程中一次训练识别率的高低为基准, 然后进行二次迁移学习, 以最终的目标识别率为评价标准。 

2.4  试验验证

3 结束语 

采用深度学习方法对水下图像进行智能识别, 提高了UUV在“看”方面的智能化水平, 对UUV的智能化发展有着重大的意义, 同时在军民融合的时代背景下, 促进了UUV的多用途化。

      文中针对水下图像高噪声、低对比度的特点,先进行水下图像预处理, 面对水下数据集不足的情况, 提出了迁移学习与数据增强方法, 试验验证了水下智能识别方法的有效性, 在一定程度上优于传统的水下图像识别算法, 但是提出的识别方法在准确率上还有很大上升空间, 这是一次水下图像智能识别的崭新尝试, 而寻求更长的训练时间, 更多的水下数据, 更加平衡的样本都将在工程意义上提高水下智能识别方法的准确率, 这也是未来研究的主要目标。

参考文献

[1] Zhang W K, Wang G X, Xu G H, et al. Development of Control System in Abdominal Operating ROV[J]. Chinese Journal of Ship Research, 2017, 12(2): 124-132.

[2] Apgar J F, Edelson J S, Furtado J, et al. ORCA-IX: An Autonomous Underwater Vehicle[D]. Massachusetts Institute of Technology. Massachusetts, US: Massachusetts Institute of Technology, 2006.

[3] Zhang L, Jiang D P, Zhao J X. The Basic Control System of an Ocean Exploration AUV[J]. Applied Mechanics and Materials, 2013(411/412/ 413/414): 1757-1761.

[4] Ferri G, Munafo A, Lepage K D. An Autonomous Underwater Vehicle Data-Driven Control Strategy for Target Tracking[J]. IEEE Journal of Oceanic Engineering, 2018, 99: 1-21.

[5] Jaffe M. Underwater Optical Imaging: Status and Prospects[J]. Oceanography, 2001, 14(3): 66-76.

[6] Lin Y, Lv F, Zhu S, et al. Large-scale Image Classification: Fast Feature Extraction and SVM Training[C]//IEEE Conference on Computer Vision and Pattern Recognition, Providence. Colorado: IEEE, 2011: 1689-1696.

[7] Wolek A, Dzikowicz B R, Mcmahon J, et al. At-Sea Evaluation of an Underwater Vehicle Behavior for Passive Target Tracking[J]. IEEE Journal of Oceanic Engineering, 2018, 99: 1-10.

[8] Kim J, Cho H, Pyo J, et al. The Convolution Neural Network Based Agent Vehicle Detection Using Forward-looking Sonar Image[C]//2016’ IEEE/OES Oceans. Shanghai: IEEE, 2016: 1-5.

[9] Matias V T. End-to-end Object Detection and Recognition in Forward-looking Sonar images with Convolutional Neural Networks[C]//2016’IEEE/OES Autonomous Underwater Vehicles. Tokyo: IEEE, 2016: 144-150.

[10] Qin H, Li X, Liang J, et al. Deep Fish: Accurate Underwater Live Fish Recognition with a Deep Architecture[J]. Neuro-computing, 2016, 187: 49-58.

[11] Li X, Shang M, Hao J, et al. Accelerating Fish Detection and Recognition by Sharing CNNs with Objectness Learning [C]//2016’IEEE/OES Oceans. Shanghai: IEEE, 2016: 1-5.

[12] Zhu P, Isaacs J, Fu B, et al. Deep Learning Feature Extraction for Target Recognition and Classification in Underwater Sonar Images[C]// 2017’IEEE 56th Annual Conference on Decision and Control (CDC). Melbourne: IEEE, 2017: 2724-2731. 

[13] 王强, 曾向阳. 深度学习方法及其在水下目标识别中的应用[C]//中国声学学会水声学分会2015年学术会议论文集. 武汉: 中国声学学会, 2015.

[14] Zuiderveld K. Contrast Limited Adaptive Histogram Equalization[M]. Graphic Gems IV. San Diego: Academic Press Professional, 1994: 474-485.

[15] Pan S J, Yang Q. A Survey on Transfer Learning[J]. IEEE Transactions on Knowledge & Data Engineering, 2010, 22(10): 1345-1359.

[16] Cheng P M, Malhi H S. Transfer Learning with Convolutional Neural Networks for Classification of Abdominal Ultrasound Images[J]. Journal of Digital Imaging, 2017, 30(2): 234. 

[17] 龙明盛. 迁移学习问题与方法研究[D]. 北京: 清华大学, 2014.

[18] Li X X, Deng Z H, Choi K S. Generalized Hidden-Mapping Transductive Transfer Learning for Recognition of Epileptic Electroencephalogram Signals[J]. IEEE Transactions on Cy-bernetics, 2018, 99: 1-15. 

原文刊登于《水下无人系统学报》2019年第3期

END 水下无人系统学报

通信地址：陕西省西安市锦业路96号

E-mail：bianjibu705@sohu.com

官方网站：www.yljszz.cn

QQ：767358370

电话：029-88327279