论文笔记 ISCC 2019|BGP Dataset Generation and Feature Extraction for Anomaly Detection_isic2019数据集介绍

1 简介

论文题目：BGP Dataset Generation and Feature Extraction for Anomaly Detection
论文来源：ISCC 2019
论文链接：https://sci-hub.se/10.1109/iscc47284.2019.8969619

1.1 动机

• 目前存在的BGP消息公共数据集，不适合直接输入到机器学习模型，因为这些消息的目标是交换细粒度的可达性信息，而不是观察网络行为。

1.2 创新

• 公开提供一个BGP特征提取工具，允许轻松集成新的网络特征。
• 提供一个不同类别的BGP异常期间网络特征的公开可用数据集，可用于训练定制的机器学习模型。
• 提出和评估新的特征，捕捉互补信息的关系，允许更容易地分析异常行为。
• 进行BGP行为趋势分析，可用于区分正常流量与异常和不同类型的异常。

2 背景知识

每一个BGP路由都有自己的路由信息库(Routing Information Base RIB)，包含三个表：Adj-RIB-In, Adj-RIBOut 和 Loc-RIB。

• Adj-RIB-In存储相邻路由器发送的未编辑路由信息
• Adj-RIBOut存储从Adj-RIB-In中存储的路由和内部路由策略中派生的最佳路由。
• Loc-RIB存储将发送到相邻路由器的路由。

BGP异常被分为四大类：Direct intended、Direct unintended、Indirect anomalies、Network failures:。

3 方法

3.1 特征提取

BGP消息的特征提取可以分为两类：容量和AS路径特征。容量特征提供关于每种类型的消息相对于其所传递的信息的绝对数量的信息。AS 路径特征可以进一步了解播送的 AS 路径的行为。同时观察到当异常发生时更新类型的分布可能会发生显著变化。
容量特征如下：

• Number of announcements/withdrawals
• Number of duplicate announcements/withdrawals
• Number of non-duplicate announcements
• Number of flaps
• Number of new announcements after withdraw
• Number of plain new announcements
• Number of implicit withdrawals with same/different path
• Number of IGP/EGP/INCOMPLETE messages
• Number of ORIGIN changes
• Number of announced prefixes
• Maximum/average announcements per prefix
• Maximum/average announcements per AS

AS路径特征如下：

• Announcements to longer/shorter paths
• Average/maximum AS path length
• Average/maximum unique AS path length
• Average/maximum edit distance
• Edit distance with k value
• Edit distance with k value (unique)
• Number of rare ASes
• Average/maximum number of rare ASes

分布特征：

• Announcements vs withdrawals
• Origin types
• Announcements types
• Longer vs Shorter
• Implicit withdrawals vs explicit withdrawals
• Withdrawals w/ same path vs withdrawals w/ different path

3.2 数据集生成

将异常事件分为三个不同的类型：Direct、Indirect、Outages。
构建一个数据集的工作流程如下：

1. 搜索标志异常开始和结束的大致时间的事件报告，以及异常事件涉及的ASes。
2. 列出考虑到靠近异常源的ASes和收集器的候选视点列表。
3. 从上一步确定的收集器的公共存储库下载BGP原始数据。
4. 考虑一个包含异常的时间段以及异常前后的常规流量，实施特征提取机制并从所有候选者中生成时间序列特征。
5. 分析抽取的序列以观察与报告的趋势相匹配的趋势。
6. 将识别的时间段标记为异常事件。

3.3 流量行为趋势分析

3.3.1 Anomaly and regular traffic

异常和正常流量在如下特征上有显著变化：Announcements、Withdrawals、Origin changes、Rare ASes average、Distribution - New announcements。

3.3.2 Direct, indirect and outage anomalie

下面的特征可用于异常分类，并对每种类型的异常实施缓解技术。

1. Outages的特征有Number of rare ASes、Distribution - Announcements vsWithdrawals、Distribution - ExplicitWithdrawals and Flaps、Distribution - Longer paths and Shorter paths。
2. Direct的特征有Distribution - Shorter paths
3. Indirect的特征有Distribution - Implicit Withdrawals

4 总结

• 实现了一个数据集生成工具，将原始BGP控制平面信息转换为特征的时间序列。
• 提出新的特征，允许直接观察BGP的行为趋势。