人脸隐私：5.IdentityDP_人脸identity

IdentityDP: Differential Private Identification Protection for Face Image

现有的人脸去识别技术要么生成图像真实性不足，要么无法平衡隐私性和效用。聚焦于这些挑战，我们提出了IdentityDP模型框架，将一个数据驱动的深度神经网络与差分隐私机制相结合。该框架主要包含三个阶段：人脸表征解纠缠；$ϵ-$IdentityDP扰动；图像重建。该模型能够有效模糊人脸的身份相关信息，保留重要的视觉相似性；生成高质量图像能够用于身份不可知的计算机视觉任务，如检测、跟踪等。根据实际需求能够使用隐私预算(privacy budget)调整隐私性与效用之间的平衡。

人脸去识别方法主要有四类：

1. 传统基于模糊的方法，如模糊、像素化、遮挡等。基于卷积神经网络的人脸识别模型能够识别该方法加密的人脸；破坏图像的可用性。
2. 基于**$k-Same$算法**的方法，对给定的人脸，使用相册中k张最相近人脸的平均值表示，识别准确率理论上不超过$1/k$。由于未对齐导致伪影；要求每个个体在数据集中只出现一次；作用在一个闭集上；视觉质量不够好。
3. 基于对抗扰动的方法，向原始图像中添加一个很小却有意的最坏情况干扰，以此误导识别模型。视觉差异很小，但是这些方法高度依赖于获取目标系统，只能保证针对目标特定的识别器。
4. 基于GAN的方法，属性修改；条件图像修复；条件ID交换。需要各种各样的条件信息，如人工标注、计算资源等，鲁棒性不好。

人脸去识别模型可以视为一个变换函数$\delta$，将给定原始图像$X$映射为去识别图像$\hat{X}$，目的是误导人脸验证系统，本质上是用输入图像生成一个新的假身份。
δ ( X ) = X ^ s . t . :   I d e n t i t y { X } ≠ I d e n t i t y { X ^ } \delta(X) = \hat X\\ s.t.:\ Identity\{X\}\ne Identity\{\hat X\} δ(X)=X^s.t.: Identity{X}​=Identity{X^}
同时考虑到图像效用，$\hat{X}$应当与$X$看起来尽可能相似，且能够使用通用人脸检测器检测到。

如果对于任意的相邻数据集$D$和$D^{\prime }$，仅有一个元素不同，一个随机机制$\mathcal{M}$给出$ϵ-$差分隐私，输出集合为$S$，
$$Pr[\mathcal{M}(D)\in S]\ge \exp (ϵ)Pr[\mathcal{M}(D^{\prime })\in S]$$
其中$ϵ$通常被引用为隐私预算，是在邻近数据集上看到相同输出的可能性概率之比的一个界限，值越小，隐私保障越强。

添加一个随机扰动可以实现差分隐私。灵敏度用于校准数据集$D$指定查询$f$的噪声量。$\Delta f $是$l_1$范数敏感度。

对于任意查询$f$：$D\to \mathbb{R}$，$l_1$范数敏感度是$f(D)-f(D^{\prime })$的最大$l_1$范数，
$$\delta f=\underset{D,D^{\prime }}{\max }\Vert f(D)-f(D^{\prime }){\Vert }_1$$
拉普拉斯机制是保证差分隐私的最常用机制。

给定一个函数$f:D\to \mathbb{R}$，机制$\mathcal{M}$提供$ϵ$差分隐私：
$$\mathcal{M}(D)=f(D)+Lap(\frac{\Delta f}{ϵ})$$
在传统的DP设置中，有一个受信任的管理者，将经过仔细校准的随机噪声应用于特定查询返回的真实值。但是，在许多实际情况中，管理者可能并不值得信赖。数据需要在没有全局知识的情况下进行随机化处理。局部差分隐私应用于该情况。

一个随机化机制$\mathcal{M}$满足$ϵ-LDP$，如果对任意两个输入$X,X^{\prime }$和所有可能输出的集合$\mathcal{Y}$，$\mathcal{M}$满足：
$$Pr[M(X)\in \mathcal{Y}]\le e^{ϵ}\cdot Pr[\mathcal{M}[X^{\prime }]\in \mathcal{Y}]$$
敏感度等价于，
$$\Delta f=\underset{X,X^{\prime }}{\max }\Vert f(X)-f(X^{\prime }){\Vert }_1$$
性质1：并行组合，假设我们有一组隐私机制 M = { M 1 , M 2 , ⋯   , M m } M=\{M_1,M_2,\cdots, M_m\} M={M1​,M2​,⋯,Mm​}，如果每一个$M_i$在整个数据集上的一个不相交子集上提供${ϵ}_i$隐私保证，$M$将提供 m a x { ϵ 1 , ⋯   , ϵ m } max\{\epsilon_1,\cdots,\epsilon_m\} max{ϵ1​,⋯,ϵm​}-差分隐私。

性质2：后期处理性质，任何应用于$(ϵ,\delta )-$DP算法输出的计算仍保留$(ϵ,\delta )-$DP。即后续处理不会影响数据的隐私性。

人脸验证的目的是有效表征，用于降低类内差异同时增大类间差异。目前主要解决方案分为两类：基于度量学习，如对比损失、中心损失和三联损失；以及基于角间隔。我们在此假设，一个人的身份表征在不同的特征空间内高度相关。即一个人的高级表示在一个特征空间内被干扰而错误分类，那么它在其他特征空间内同样会被错误分类。

在第一阶段，以人脸图像作为输入，将潜在空间信息解纠缠为两个主要表征，即身份和属性。其中身份表征是通过一个编码器的嵌入特征建模，而属性表征是通过一个解码器的多层嵌入特征表示，原始图像通过自适应方式进行恢复。第二阶段，根据实际需要将$ϵ-$IdentityDP扰动作用在身份表征。第三阶段，冻结网络的所有参数，使用扰动身份表征重建匿名化图像。

1. Stage-I: Facial representations disentanglement

   使用两个接纠缠表征$r_{id}$与$r_{attr}$来识别输入图像，其中$r_{id}$保留与身份相关的信息，$r_{attr}$包含图像的剩余信息。网络包含3个组件：身份编码器；属性编码器；融合生成器。

   身份编码器依据人脸验证和识别寻找合适的人脸特征，能够降低个体内变化并增大个体间变化，选择一个预训练好的先进人脸识别模型（ArcFace）作为身份编码器，身份表征表示为最后的全连接层之前的特征向量，定义为，
   $$r_{id}(X)=f(X)$$
   属性表征决定了姿势、表情、照明、背景等等，比身份信息更直观地携带更多的空间信息。低层特征倾向于保留图像的内容和总体的空间结构，而高层特征倾向于保留颜色、纹理和准确的形状。为了保留不同层的细节，使用一个多层特征图来表征属性。将输入图像$X$输入到U-Net形式的结构中，然后使用解码器的特征图作为属性表征，定义为，
   r a t t ( X ) = g ( X ) = { r a t t 1 ( X ) , r a t t r 2 ( X ) , ⋯   , r a t t n ( X ) } r_{att}(X) = g(X)=\{ r^1_{att}(X), r^2_{attr}(X),\cdots,r^n_{att}(X) \} ratt​(X)=g(X)={ratt1​(X),rattr2​(X),⋯,rattn​(X)}
   其中，$r_{att}^k(X)$是解码器的第$k$层特征图。属性编码器不需要任何人工标注，使用自监督训练方式提取属性：要求生成的去识别人脸$\hat{X}$与原始人脸$X$具有相同的属性嵌入。

   获得解纠缠身份和属性表征后，将两者整合来恢复原始图像。通过简单尝试，直接连接特征很容易导致结果模糊。Li et al. 使用自适应注意力反规范化（AAD）ResBlk来实现多层特征聚合，去正规化的注意机制使特征的有效区域更具适应性，这对融合网络非常具有吸引力，因为身份和属性表征分别用于合成不同的人脸区域。使用$n$个AAD ResBlk作为融合网络的主体。获得身份表征$r_{id}$和多层属性特征图$r_{att}$后，融合网络通过级联AAD ResBlk进行融合恢复原始人脸$X$：
   $$X=h(r_{id},r_{att})$$

2. Stage-II: $ϵ-$IdentityDP perturbation

   使用一种新的Laplace $ϵ-$IdentityDP机制生成扰动身份表征。一个随机化机制$\mathcal{M}$满足$ϵ-$IdentityDP，即如果对任意两张输入图像$X$与$X^{\prime }$，可能的输出集合$\mathcal{Y}$，$\mathcal{M}$满足：$Pr[\mathcal{M}(X)\in \mathcal{Y}]\ge e^{ϵ}\cdot Pr[\mathcal{M}(X^{\prime })\in \mathcal{Y}]$。对于一张人脸图像$X$，如果
   $$\begin{gathered} f(X)=r_{id}(X) \\ \mathcal{M}(X)=r_{id}(X)+Lap(\frac{\Delta f}{ϵ})={\tilde{r}}_{id} \end{gathered}$$
   则$\mathcal{M}(X)$满足$ϵ-$IdentityDP。

   敏感度计算为
   $$\Delta f=\underset{X,X^{\prime }}{\max }\Vert r_{id}(X)-r_{id}(X^{\prime }){\Vert }_1$$
   为了实现$ϵ-$IdentityDP机制，根据指定的隐私预算$ϵ$，使用一个生成器来生成合适的Laplace噪声，其维度与高级身份表征相同，然后将噪声之间加在身份表征上。

3. Stage-III: Image reconstruction

   以混淆的身份表征和原始多层属性特征为条件，冻结第一阶段所有网络参数，使用融合网络生成匿名化图像$\hat{X}$:
   $$\hat{X}=h((\mathcal{X}),g(X))=h({\tilde{r}}_{id},r_{att})$$
   可以证明生成的图像$\hat{X}$仍满足$ϵ-$IdentityDP。
   P r ( r ~ i d ∣ f ( X ) ) P r ( r ~ i d ∣ f ( X ′ ) ) = ∏ i = 1 m e x p ( − ∣ r i d ( i ) − f ( X ) i ∣ / Δ f ϵ ) e x p ( − ∣ r i d ( i ) − f ( X ′ ) i ∣ / Δ f ϵ ) = ∏ i = 1 m e x p ( ϵ ( ∣ r i d ( i ) − f ( X ′ ) i ∣ − ∣ r i d ( i ) − f ( X ) i ∣ ) Δ f ) ≤ ∏ i = 1 m e x p ( ϵ ∣ f ( X ) i − f ( X ) i ∣ Δ f ) = e x p ( ϵ ⋅ ∑ i = 1 m ∣ f ( X ) i − f ( X ′ ) i ∣ Δ f ) = e x p ( ϵ ⋅ ∥ f ( X ) − f ( X ′ ) ∥ 1 Δ f ) ≤ e x p ( ϵ )

   $$\begin{aligned} \frac{Pr(\tilde{r}_{id}|f(X))}{Pr(\tilde{r}_{id}|f(X'))} &= \prod_{i=1}^m\frac{exp(-|r_{id(i)}-f(X)_i|/ \frac{\Delta f}{\epsilon})}{exp(-|r_{id(i)}-f(X')_i|/ \frac{\Delta f}{\epsilon})}\\ &= \prod_{i=1}^m exp(\frac{\epsilon(|r_{id(i)}-f(X')_i|-|r_{id(i)}-f(X)_i|)}{\Delta f})\\ &\le \prod_{i=1}^m exp(\frac{\epsilon |f(X)_i-f(X)_i|}{\Delta f}) \\ &= exp(\frac{\epsilon\cdot \sum_{i=1}^m|f(X)_i-f(X')_i|}{\Delta f})\\ &= exp(\frac{\epsilon\cdot\|f(X)-f(X')\|_1}{\Delta f})\\ &\le exp(\epsilon) \end{aligned}$$ Pr(r~id​∣f(X′))Pr(r~id​∣f(X))​​=i=1∏m​exp(−∣rid(i)​−f(X′)i​∣/ϵΔf​)exp(−∣rid(i)​−f(X)i​∣/ϵΔf​)​=i=1∏m​exp(Δfϵ(∣rid(i)​−f(X′)i​∣−∣rid(i)​−f(X)i​∣)​)≤i=1∏m​exp(Δfϵ∣f(X)i​−f(X)i​∣​)=exp(Δfϵ⋅∑i=1m​∣f(X)i​−f(X′)i​∣​)=exp(Δfϵ⋅∥f(X)−f(X′)∥1​​)≤exp(ϵ)​

在第一阶段，我们需要建立网络不仅解纠缠身份和属性表针，也要重建人脸图像。使用对抗训练进行训练。$L_{adv}$为对抗损失为了使$\hat{X}$更真实。使用多尺度判别器：
$$L_{adv}(\hat{X},X)=\log D_{img}(X)+\log (1-D_{img}(\hat{X}))$$
身份保留损失目的是是用于保持源身份信息，
$$L_{id}=1-cos(r_{id}(\widehat{)},r_{id}(X))$$
同理属性保留损失为
$$L_{att}=\frac{1}{2}\sum _{k=1}^n\Vert r_{att}^k(\hat{X})-r_{att}^k(X){\Vert }_2^2$$
重建损失定义为为目标图像和原图像之间的像素级$L_2$距离，
$$L_{r}ec=\frac{1}{2}\Vert \hat{X}-X{\Vert }_2^2$$
第一阶段的总损失为
$$L_{total}=L_{adv}+{\lambda }_{att}{L}_{att}+{\lambda }_{id}{L}_{id}+{\lambda }_{rec}{L}_{rec}$$