[异常检测] Graph Embedded Pose Clustering for Anomaly Detection

Graph Embedded Pose Clustering for Anomaly Detection

会议：CVPR 2020

单位：Tel-Aviv University, Alibaba Group

论文：arxiv

代码：code

创新

从输入视频序列计算得到人体姿态图，之后通过时空图卷积自编码器和聚类将这些姿态图映射到隐空间

提出了两种粒度的异常检测

• 粗粒度，指定某类行为是正常其余为异常行为（ShanghaiTech Campus数据集上）
• 细粒度，指定某类行为为异常其余非异常行为 （NTU-RGB+D、Kinetics 400数据集上）

人体姿态图的好处

1. 使得问题更抽象，算法只关注人体姿态不受无关特征的影响比如光照，视角
2. 人体姿态图更紧凑，使得推理、训练和测试更快

网络结构

时空图卷积自编码

使用ST-GCN块(GCN算子由空间注意力图卷积替换)来构造时空图卷积自编码器（ST-GCAE）

三种类型的邻接矩阵

• 身体部位物理邻接矩阵

• 数据集相关的关键点关系（训练中学习得到）

• 自注意力模块推理得到（特定于样本）

聚类

对于每个输入样本${\mathbf{x}}_i$用${\mathbf{z}}_i$表示编码器的隐向量，${\mathbf{y}}_i$计算软聚类，$\Theta$表示聚类层参数，$p_{ik}$表示第$i$个样本分配到第$k$簇的概率

$$p_{ik}=\mathrm{Pr}\left(y_i=k\mid {\mathbf{z}}_i,\Theta \right)=\frac{\exp \left({\mathbf{\theta }}_k^T{\mathbf{z}}_i\right)}{{\sum }_{k^{\prime }=1}^K\exp \left({\mathbf{\theta }}_{k^{\prime }}^T{\mathbf{z}}_i\right)}$$

聚类的目标函数是最小化当前模型预测分布P和目标分布Q之间的KL散度
$$L_{cluster}=KL(Q\Vert P)=\sum _i\sum _k{q}_{ik}\log \frac{q_{ik}}{p_{ik}}$$

其中

$$q_{ik}=\frac{p_{ik}/{\left({\sum }_{i^{\prime }}{p}_{i^{\prime }k}\right)}^{\frac{1}{2}}}{{\sum }_{k^{\prime }}{p}_{i{k}^{\prime }}/{\left({\sum }_{i^{\prime }}{p}_{i^{\prime }{k}^{\prime }}\right)}^{\frac{1}{2}}}$$

Normality Scoring

狄利克雷过程混合模型（Dirichlet Process Mixture Model, DPMM）是一种非参数贝叶斯模型，它可以理解为一种聚类方法，但是不需要指定类别数量，它可以从数据中推断簇的数量

狄利克雷过程混合模型

实验

ShangHaiTech数据集 细粒度异常检测

关节点坐标作为输入特征没有关节点小图做特征效果好

NTU-RGB+D、Kinetics 400 粗粒度异常检测

使用10个随机和10个有意义的分割来评估每个数据集

消融实验

评估模型对噪声的鲁棒性，即在训练集中存在一定百分比的异常动作