当前位置: article > 正文

在网络安全方面，人工智能是如何发挥作用的？_兜哥深度学习安全uba 复现

作者：IT小白 | 2024-05-27 08:52:58

踩

兜哥深度学习安全uba 复现

全民AI的时代，很多学科都开始和人工智能挂钩了，网络安全自然也不例外。

最近几年，人工智能是热度很高的一个话题。AlphaGo的横空出世，以及紧接着其与李世石的世纪人机大战，可以说是人工智能在公众视野中的最后一个引爆点。

自此之后，越来越多的人工智能产品开始出现在公众视野中，可谓是眼花缭乱，给人的感觉是人工智能遍地开花。

近些年来，基于人工智能的产品更是推陈出新，遍地都是。

包括围棋和象棋等在内的各个棋牌类竞技游戏相继被人工智能攻破；微软搜索开始推出了自己的人工智能产品小冰；百度也开始用码农人肉测试自己的无人车了；Style Transfer技术生成了各种千奇百怪的艺术图片；计算机视觉技术开始进入普通人的生活，同时也接入了如病例分析、医疗影像诊断等医学领域，并且取得了不俗的成果。

无论人们接不接受，都不能改变人工智能正在迅速渗透进我们日常生活的这个现实。

从上面的表述中也可以看出，在机器学习领域，大多数的实用方向都指向了图像识别、广告推荐和个性化画像等，也有人用“黄赌毒”来形容目前AI的落地领域。

而现如今，人工智能在网络安全领域确实有了很多的应用。

我之前写过的回答，有很多就已经涉及到了AI和网络安全相结合的内容，如：

深度学习在信息安全的应用：

机器学习与网络安全

入侵检测
恶意软件
数据收集
漏洞分析/逆向
匿名/隐私/审查
数据挖掘
APT与网络犯罪
CND/CNA/CNE/CNO
深度学习与网络安全

机器学习在web方向的工作：

检测web攻击

用递归神经网络检测WEB攻击
Web安全检测中机器学习的经验之谈
Web日志安全分析系统实践
干货 | 机器学习在web攻击检测中的应用实践
基于HMM的web异常参数检测
基于机器学习的攻击检测
使用Seq2Seq自动编码器检测Web攻击
Web安全检测中机器学习的经验之谈
学点算法搞安全之HMM
使用Seq2Seq自动编码器检测Web攻击
基于HMM的web异常参数检测
数据科学在Web威胁感知中的应用

Web攻击分类

基于机器学习的WEB攻击分类检测模型
基于机器学习的攻击检测系统

WAF建设

从免费的WEB应用防火墙hihttps谈机器学习之生成对抗规则过程
基于机器学习的web应用防火墙
门神WAF众测总结
WAF建设运营及AI应用实践
AI in WAF | 腾讯云网站管家 WAF AI 引擎实践

恶意url检测

[URLNet：通过深度学习学习URL表示以进行恶意URL检测
用机器学习玩转恶意URL 检测
使用机器学习来检测恶意URL
网络钓鱼URL分类
基于机器学习的web异常检测
基于大数据和机器学习的Web异常参数检测系统Demo实现
LSTM识别恶意HTTP请求
基于URL异常检测的机器学习模型mini部署
我的AI安全检测学习笔记（一）
A Deep Learning Based Online Malicious URL and DNS Detection Scheme
POSTER: A PU Learning based System for Potential Malicious URL Detection
基于PU-Learning的恶意URL检测

Webshell检测

[基于机器学习的分布式webshell检测系统-特征工程（1）]
[兜哥基于机器学习的 Webshell 发现技术探索]
[深度学习PHP webshell查杀引擎demo]
[使用机器学习识别WebShell]
[基于机器学习的分布式Webshell检测系统]
[基于机器学习的Webshell发现技术探索]
[刘焱： Webshell 发现技术实战解析]
[安普诺张涛：再谈webshell检测]
[基于机器学习的WebShell检测方法与实现(上)]
[初探机器学习检测PHP Webshell]

SQL

[三种特征向量对深度学习攻击检测的影响]

XSS

[机器学习识别XSS实践]
[使用深度学习检测XSS]
[使用深度学习检测XSS(续)]

弱口令

[利用机器学习和规则实现弱口令检测]

DDOS

[基于KDDCUP 99数据集预测DDoS攻击]
[基于谱分析与统计机器学习的DDoS攻击检测技术研究]
[基于机器学习的分布式拒绝服务攻击检测方法研究]
[DDoS Attacks Using Hidden Markov Models and Cooperative ReinforcementLearning*]

DNS&DGA检测

[使用CNN检测DNS隧道]
[探秘-基于机器学习的DNS隐蔽隧道检测方法与实现]
[DNS Tunnel隧道隐蔽通信实验 && 尝试复现特征向量化思维方式检测]
[DataCon 2019: 1st place solution of malicious DNS traffic & DGA analysis]
[DataCon 9102: DNS Analysis]
[Datacon DNS攻击流量识别内测笔记]
[机器学习实践-DGA检测]
[使用生成对抗网络(GAN)生成DGA]
[使用fasttext进行DGA检测]
[机器学习实践-DGA检测]
[使用深度学习检测DGA]
[机器学习与威胁情报的融合：一种基于AI检测恶意域名的方法]

恶意流量检测

[利用机器学习检测HTTP恶意外连流量]
[一篇报告了解国内首个针对加密流量的检测引擎]
[恶意软件加密通信概要分析]
[火眼金睛：利用机器学习识别加密流量中的恶意软件]思科在加密流量检测中的检测方案
[基于机器学习的恶意软件加密流量检测研究分享斗象科技]
[特征工程之加密流量安全检测]

思考篇

[为什么机器学习在安全、风控领域频频遇冷?]
[如何在安全风控中评估和量化机器学习有效性？]
[在网络安全领域应用机器学习的困难和对策？]
[安全智能应用的一些迷思]
[机器学习在安全攻防场景的应用与分析]
[从安全视角对机器学习的部分思考]
[如何看待兼修网络安全和人工智能?]

人工智能与安全领域：
1.网络攻击
1.1 钓鱼攻击
1.2 恶意软件样本生成（GAN）
2.网络防御
2.1 漏洞分析
2.2 提高恶意检测器效果

我认为，不是需不需要结合，或者有哪些方面容易和AI相结合来发挥作用的问题。

而是说，面临着海量的数据和层出不穷的安全漏洞，如果我们在未来还想要解决日益增多的安全问题，人工智能是必须应该掌握的一项技能或者说工具，两者结合也是必然的。

相比于上述提到的各个行业来说，网络安全是一个较为传统的行业。

因此，在很长的一段时间内，网络安全和机器学习技术是分开来演化和发展的，两者并无交集。

例如在恶意检测方向，基于规则和黑白名单以及人工分析等的检测方法已经发展了很久，使用的技术从固定规则、黑白名单、模型、沙箱，最后终于发展到了机器学习这条路上，实现了两者的成功会面，人工智能开始试着在网络安全上发挥作用。

存储和计算能力的爆发式增长，让我们获得了比以往更全面、实时地获取以及分断数据的潜在能力，但面对产生的海量信息，如何快速准确地转化为业务需求则需要依赖一些非传统的手段。

就安全检测领域来说，原先依赖于规则的问题解法过于受限于编写规则的安全专家自身知识领域的广度和深度，以及对问题本质的理解能力。

但我们都知道，安全漏洞层出不穷，攻击利用的方式多种多样，仅仅依赖于规则进行问题的发现，在现阶段的威胁形势下慢慢就显得不大够用了。依靠极其有限的网络专家总结的经验，以及各大厂商之间的样本交换，则更是如此。

网络安全的防护对抗发展到今天，各种技术已经日趋专业和精细化，通过古老的string-match的防御方式越来越不能适应新的攻击环境。纵观安全行业近十余年的攻击方式，从最早的单机小工具发展到如今的分布式、大数据、自动化等攻击方式，防御的方式不得不随之不断升级，而结合机器学习是必须做出的决定。

就我的理解而言，在大量日志数据支撑情况下，对于目前的攻击检测来说

启发式或编码规则的方法在开发和维护上非常耗时，并且需要不断更新规则来覆盖新开发的攻击手段，没法做到高效以及及时识别未知恶意攻击。

基于异常的方法，虽然可以识别未知攻击，但其只学习用户行为来对异常与否做出判断，随着用户行为随时间的变化，它们可能会产生许多误报，也需要重新调整。

而基于ML和DL的方法，则可以有效减少对日志数量的需求，便能找到攻击事件的高级视图，对于新的攻击手段，也仅需要更多的攻击训练数据即可学习新的攻击模式。

新的机器学习，深度学习，自然语言处理，图神经网络等方法，可以用来构建基于序列的模型，基于溯源图的模型等，帮助更高效和准确的识别网络攻击。

另一方面，对于不常见的攻击方法和手段，基于规则的检测很容易产生漏报，且传统的神经网络可能无法很好到学习到其相关特征，无法做到高准确度的检测。这时候，深度学习中的一些概念如迁移学习，小样本学习等可能会帮助我们在攻击样本不足的情况下做到更高精准度的检测。

因此，需要面对大量日志数据的处理；或者保密度较高，容易被最新非常见入侵方法所攻击的的场景，在我看来都应该很适合AI的加入。

再例如，安全监控的建立可能会产生海量的web日志数据，如何通过这些数量巨大的数据来分析发现业务异常和安全问题呢？人工智能显然要比人工更加适合这项任务。

从网络安全的角度来看，借助人工智能这项如日中天的工具来解决日益复杂的安全问题是必然的选择；从人工智能的角度来看，网络安全问题或许是人工智能的下一个突破口也说不准。

所以，基于上述分析，我个人粗浅的认为，不是是否能可以学好的问题，而是说面临着海量的数据和层出不穷的安全漏洞，如果我们在未来还想要解决日益增多的安全问题，人工智能是必须应该掌握的一项技能或者说工具。

现如今，已经有一些机器学习/深度学习方面的工作被用来保障web安全，或者应用至安全领域的其它方向了。

下面举一些简单的示例，用来说明AI在安全方面的应用，例如，用SVM来识别XSS攻击

利用上述从Web日志中所提取出的特征，在一个各有20万样本的模型上进行训练，并且在一个各有5万样本的模型上进行测试，最后运行结果的准确率已经可以达到80%。

如果我们在更大的数据集上做测试，或者使用其他模型以及进一步增加特征个数和后面环节的半自动化或者自动验证，这个准确率会更高，例如用下面的扩展特征做到了90%以上的准确率。

另外，还可以根据XSS攻击载荷数据来训练模型，并通过指定种子按照需求来生成XSS攻击载荷

指定种子生成的XSS攻击载荷

再比如，利用隐马尔科夫链来识别DGA域名

聚类效果

除了web的应用，人工智能还广泛涉及到其他安全领域

例如上述的登录日志，通过知识图谱可以构建出如下拓扑结构来识别盗号行为——初步判断activesyncid2可能盗取了mike的账号

还可以通过日志数据来判断是否遭遇撞库攻击

从拓扑图和日志数据可以看出，大量账户从ip1登录且ua字段相同，登录失败和成功的情况均存在，可以判断大概率发生了撞库攻击。

通过使用ADFA-LD中的Java溢出攻击数据可以训练模型来检测Java溢出攻击

识别垃圾邮件

之前和群里的朋友还讨论过关于利用恶意代码图像来检测二进制文件的想法。

这个概念最早是由加利福尼亚大学的Nataraj和Karthi keyan在他们的论文《Malware Images：Visualization and Automatic Classification》中提出来的，思路非常新颖，把一个二进制文件用灰度图的形式展示出来，利用图像中的纹理特征对恶意代码进行聚类。

就目前的文章来看，恶意代码图像的形式并不固定，研究人员可根据实际情况进行调整和创新改进。