cnn神经网络可以用于数据拟合吗_大数据环境中高效入侵检测的混合深度学习模型...

期刊：

information sciences

引用：

Hassan M M, Gumaei A, Alsanad A, et al. A hybrid deep learning model for efficient intrusion detection in big data environment[J]. Information Sciences, 2020, 513: 386-396.

摘要：

网络和互联网流量每天都在提升，在zetta字节到peta字节的范围内以极高的速率创建数据。由于这些数据量大，种类多，速度快且准确性高，因此可以将它们描述为大数据。随着使用量的增长，对网络、互联网、网站和组织的安全威胁也在增长。在这样一个大数据情况下的检测入侵是很困难的。提出了使用人工智能或机器学习方法的不同入侵检测系统去检测不同类型的网络攻击，但是大多数这样的系统要不无法识别未知攻击要么无法及时响应此类攻击。深度学习模型，近来应用于大规模大数据分析，一般情况下效果显著但应用于大环境情况下时不适用于入侵检测。本文提出了一个基于CNN和WDLSTM的混合深度学习模型以有效检测网络入侵。使用深层的CNN从IDS大数据中提取有意义的特征，使用WDLSTM以保留所提取的特种之间的长期依赖性，以防止循环连接的过拟合。就公开的数据集，与传统的方法相比较，本文的方法性能更加优越。

方法：

Ø 基准数据集：UNSW-NB15

Ø 数据预处理

数据预处理使用了两种主要的方法，数据转换和数据归一化。数据转换中将所有的文本特征转换为数值特征，以确保数据集中的所有数据均为数值型以便于入侵检测模型预处理。数值归一化被用于将各个特征之间的方差降低到某个值范围内。此外，在归一化过程中会删除空值。为了归一化大值并减少其影响，本文使用了最小最大缩放方法将值确定在0到1之间，按照如下公式所述：

其中fi，j 数据集矩阵的第i行和第j列位置上元素的值。

Ø 所提出模型框架的理论概念

卷积神经网络

卷积神经网络（CNN）是一种人工神经网络，其中一些滤波器与输入结合。每个滤波器都是可以训练的权重向量。最近，在卷积层和最大池化层之间交换了一个深度学习前馈网络，其顶部是许多稀疏或全连接的层，然后是最终决策或分类层。这种深层的CNN可以保证平移不变，可以处理输入数据中的小变化和大变化。深度CNN的训练通常是通过有监督的学习来进行的，并且比训练其他类型的ANN（例如DNN或多层感知器神经网络（MPL））要快得多。CNN中少量的权重使其比其他基于神经网络的特征提取方法更有效。深度CNN最近吸引了很多注意力，用于识别，检测和分类一维（1D），二维（2D）或者甚至三维（3D）数据中的图案或对象。CNN中每个神经元的输出是根据其输入，网络结构中先前各层中神经元的权重和偏差来计算的。因此，可以使用以下公式分别更新每层的权重和偏差：

由于卷积和池化是深层CNN的隐藏层中的两个不同的操作，因此这些隐藏层称为卷积和池化层。在卷积层中，一组滤波器在输入上滑动以生成特征向量。在一维中，该卷积运算的计算如下：

在池化层中，池化操作（也称为下采样）减小了卷积层的输出尺寸，从而降低了计算成本并避免了过拟合。实际上，可以通过两种不同的合并机制执行该操作：最大池化或平均池化。在1D中，可以按以下方式分别写入最大和平均池化操作：

Ø LSTM

长短期记忆（LSTM）是具有反馈连接的另一种ANN。LSTM网络通常用于处理图像，视频或语音。例如，LSTM网络已用于语音识别，手写识别，语言处理和人类活动识别。在一种常见的结构中，LSTM网络包括一个存储单元和三个调节器或门，以控制LSTM单元内部的信息流：（1）输入门，（2）输出门和（3）忘记门。在另一个变体中，LSTM单元是门控循环单元（GRU），它具有其他门。从数学上讲，LSTM单元的输入，忘记和输出门的过程可以表述为：

存储器单元在输入特征之间保持依赖性。输入门将新值输入到存储单元中，而忘记门控制值是否保留在存储单元中。输出门使用存储单元中的值计算单元的输出。Tangent函数和sigmoid函数是LSTM单元的常用激活函数。

Ø WDLSTM

WDLSTM是一种使用丢包连接技术进行规范化的LSTM神经网络。丢弃连接在权重W上为网络引入了动态稀疏性，而丢弃则在网络单元的激活或输出向量上引入了稀疏性。在WDLSTM中，LSTM的隐藏到隐藏的权重矩阵在训练阶段被随机丢弃，以防止过拟合。LSTM门的输出通常可以编写如下：

Ø 本文所提出的用于入侵检测的混合深度学习模型

提出的模型使用混合深度学习模型对实时数据流量进行入侵分类，该模型将深CNN与WDLSTM结合在一起；本文称其为深度CNN–WDLSTM模型。与其他基于神经网络的模型相比，上述CNN和WDLSTM的优势使混合模型可以更有效地检测入侵。

CNN–WDLSTM模型包含两个一维卷积层，一个一维最大池化层，一个一维WDLSTM层和一个完全连接的层。用于在两个卷积层中训练模型的激活函数ReLU函数。

最大池化层的输出传递到一维LSTM层。然后，一维WDLSTM网络学习提取的特征之间的依赖关系，随机忽略一些权重以防止过度拟合。 最后，一维WDLSTM层的输出将传递到完全连接的层，该层包含Softmax激活函数以对入侵进行分类以进行检测。

混合模型的最重要参数是CNN滤波器的数量，时期的数量，学习率，WDLSTM隐藏单元的数量，掉线率，批次大小和最大合并长度。所有这些参数都是在训练阶段通过反复试验获得的。

实验结果分析

Ø 评估矩阵

Ø 结果比较

图4显示了训练的准确性和损失，其中使用了测试集进行验证。值得注意的是，CNN–WDLSTM模型是稳定且收敛的。此外，考虑到模型处理数据集中方差的方式，过拟合显然得到了很好的抑制。这样可以提高培训和测试的准确性。

表3和表4列出了UNSW-NB15测试仪的正常样本和异常样本的混淆矩阵（二进制分类），以及正常样本和各种攻击样本的混淆矩阵（多重分类）。

表3显示了该模型在测试集中正确分类了668,101个样本的649,336个样本，以进行二进制分类。同样，表4显示了该模型正确地对668,101个样本中的657,612个样本进行了分类，以进行多分类。

为了说明检测的质量，在图5和图6中绘制了接收机工作特性（ROC）曲线。对于二元分类，红色和橙色曲线的交点是模型获得最佳检测结果的位置（点为0.91）。对于多分类，普通，通用和侦察类的ROC值最高，分别为0.99、0.99和0.89。

表5和表6提供了测试集中样本的二进制和多分类性能指标的值。如这些表所示，该模型对测试数据样本的二元分类和多分类的总体准确度达到97.17％。对于F1分数，该模型分别在0.99、0.84、0.81和0.71的通用，侦察，shellcode和exploit类中获得了最佳结果。此外，该模型的加权平均F1得分为0.98。最差的值是由较少的类获得的。然而，尽管类分布不平衡，但CNN–WDLSTM模型还是取得了很好的结果。表7比较了在两个不同的大型数据集ISCX2012 [27]和UNSW-NB15 [29]上进行的CNN–WDLSTM模型与用于入侵检测的二进制分类的最新模型的准确性。表7中的比较证明了我们的模型相对于以前的最新工作的有效性，特别是在从大量训练特征中学习特征表示的准确性方面。此外，我们的模型能够检测到新的入侵类型，并减轻不平衡类分布的影响。

实验是在配备2.0 GHz Intel Core TM i7 4510 U CPU和8 GB RAM（运行64位Windows 10操作系统）的笔记本电脑上进行的。表8列出了与相同数据集上的相关工作相比，所提出模型的平均执行时间（以毫秒为单位）。如表8所示，我们模型的平均执行时间非常短，略小于TSDL模型[18]，这使其对于实时入侵检测系统更加有效。该比较背后的主要假设是，该模型能够以脱机模式定期训练最新的网络流量功能，并且能够以在线模式检测入侵攻击。

结论与思考

1. 本文所提出的CNN-WDLSTM可以有效处理大数据背景下的网络入侵检测。

2. 同时，模型可以有效解决数据分类不平衡问题，可以按照这个方法进行复现看看其是否能解决不平衡的数据分布下的入侵检测问题。