攻防对抗模拟工具CyberBattleSim的简单分析

0x0总结

整个CyberBattleSim是强化学习在攻防过程当中的一个典型的应用场景，主要针对攻击链当中的内网横向移动阶段；使用了Q-Learning技术训练二个Agent(代理)来模拟攻防演练当中的攻击队员、防守队员，利用高交互的环境模拟了一个相对简单的网络环境(靶场)，通过部署一些有典型的漏洞、脆弱性的服务器资产，让攻击的Agent代理(集成了很多攻击方法)对内网资产模拟攻击队进行攻击，同时设置一个防御的Agent代理(defender)进行监控与简答程度的防御，攻击agent拿到不同的服务器权限会得到不同的分数、结合对攻击步骤的梳理可以得出一个最佳的攻击路径、攻击手法的进攻路线和防守的策略；在这个活动当中通过变换不同的防守策略、攻击策略、网络拓扑可以产生非常多的副本，从而进一步训练攻击Agent、防守Agent的策略。

整体思路，就和训练小白鼠走迷宫的思路类似，强化学习目前在信息安全的应用案例比较少，也是算法与环境案例当中的深水区。目前能够看到的案例是强化学习在NGSOC一类的产品当中通过大量人机交互，纠正算法误报的场景，目前未看到具体的项目都是宣传概念类多一些。

0x1 观点洞察

从互联网上收集到的资料来看在攻防对抗的策略模型、强化学习都还只是出现一些学术研究当中，当前