扩散模型过拟合？！谷歌、DeepMind等发文：扩散模型直接从训练集里「抄」

本文来源  新智元 编辑：LRS

【新智元导读】「图像生成质量」和「隐私保护」，二者不可得兼。

去年，图像生成模型大火，在一场大众艺术狂欢后，接踵而来的还有版权问题。

类似DALL-E 2, Imagen和Stable Diffusion等深度学习模型的训练都是在上亿的数据上进行训练的，根本无法摆脱训练集的影响，但是否某些生成的图像就完全来自于训练集？如果生成图像与原图十分类似的话，其版权又归谁所有？

最近来自谷歌、Deepmind、苏黎世联邦理工学院等多所知名大学和企业的研究人员们联合发表了一篇论文，他们发现扩散模型确实可以记住训练集中的样本，并在生成过程中进行复现。

论文链接：https://arxiv.org/abs/2301.13188

在这项工作中，研究人员展示了扩散模型如何在其训练数据中记忆单个图像，并在生成时将其重新复现出来。

文中提出一个生成和过滤（generate-and-filter）的pipeline，从最先进的模型中提取了一千多个训练实例，覆盖范围包含人物的照片、商标的公司标志等等。并且还在不同的环境中训练了数百个扩散模型，以分析不同的建模和数据决定如何影响隐私。

总的来说，实验结果显示，扩散模型对训练集的隐私保护比之前的生成模型（如GANs）要差得多。

记了，但记得不多

去噪扩散模型（denoising diffusion model）是近期兴起的新型生成式神经网络，通过迭代去噪的过程从训练分布中生成图像，比之前常用的GAN或VAE模型生成效果更好，并且更容易扩展模型和控制图像生成，所以也迅速成为了各种高分辨率图像生成的主流方法。

尤其是OpenAI发布DALL-E 2之后，扩散模型迅速火爆了整个AI生成领域。

生成式扩散模型的吸引力源于其合成表面上与训练集中的任何东西都不同的新图像的能力，事实上，过去的大规模训练工作「没有发现过拟合的问题」，而隐私敏感领域（privacy sensitive domain）的研究人员甚至提出，扩散模型可以通过合成图像来「保护真实图像的隐私」。

不过这些工作都依赖于一个假设：即扩散模型不会记忆并再次生成训练数据，否则就会违反隐私保证，并引起诸多关于模型泛化和数字伪造（digital forgery）的问题。

但事实果真如此吗？

要想判断生成的图像是否来自于训练集，首先需要定义什么是「记忆」（memorization）。

之前的相关工作主要集中在文本语言模型上，如果模型能够逐字从训练集中恢复一个逐字记录的序列，那么这个序列就被称为「提取」和「记忆」了；但因为这项工作是基于高分辨率的图像，所以逐字逐句匹配的记忆定义并不适合。

下面是研究人员定义的一个基于图像相似性度量的记忆。

如果一个生成的图像x，并且与训练集中多个样本之间的距离（distance）小于给定阈值，那么该样本就被视为从训练集中得到的，即Eidetic Memorization.

然后，文中设计了一个两阶段的数据抽取攻击（data extraction attack）方法：

1. 生成大量图像

第一步虽然很简单，但计算成本很高：使用选定的prompt作为输入，以黑盒的方式生成图像。

研究人员为每个文本提示生成500张候选图像以增加发现记忆的几率。

2. 进行Membership Inference

把那些疑似是根据训练集记忆生成的图像标记出来。

研究人员设计的成员推理攻击策略基于以下思路：对于两个不同的随机初始种子，扩散模型生成的两张图像相似概率会很大，并且有可能在距离度量下被认为是根据记忆生成的。

抽取结果

为了评估攻击效果，研究人员从训练数据集中选择了35万个重复率最高的例子，并为每个提示生成500张候选图像（总共生成了1.75亿张图像）。

首先对所有这些生成的图像进行排序，通过在团（clique）中的图像之间的平均距离来识别那些可能通过记忆训练数据生成的图像。

然后把这些生成的图像与训练图像进行比较，将每张图像标注为「extracted」和「not extracted」，最终发现了94张疑似从训练集中抽取的图像。

通过视觉分析，将排名top 1000的图片手动标注为「memorized」或「not memorized」，其中发现还有13张图片是通过复制训练样本生成的。

从P-R曲线上来看，这种攻击方式是非常精确的：在1.75亿张生成的图像中，可以识别出50张被记住的图像，而假阳性率为0；并且所有根据记忆生成的图像都可以被提取出来，精确度高于50%

为了更好地理解记忆是如何以及为什么会发生的，研究人员还在CIFAR10上训练了数百个较小扩散模型，以分析模型精度、超参数、增强和重复数据删除对隐私的影响。

Diffusion vs GAN

与扩散模型不同的是，GANs并没有明确被训练来记忆和重建其训练数据集。

GANs由两个相互竞争的神经网络组成：一个生成器和一个判别器。生成器同样接收随机噪声作为输入，但与扩散模型不同的是，它必须在一次前向传递中把这种噪声转换成有效图像。

训练GAN的过程中，判别器需要预测图像是否来自于生成器，而生成器需要提升自己以欺骗判别器。

因此，二者的不同之处在于，GAN的生成器只使用关于训练数据的间接信息进行训练（即使用来自判别器的梯度），并没有直接接收训练数据作为输入。

不同的预训练生成模型中抽取的100万个无条件生成的训练图像，然后按FID排序的GAN模型（越低越好）放在上面，把扩散模型放在下面。

结果显示，扩散模型比GAN模型记忆得更多，并且更好的生成模型（较低的FID）往往能记住更多的数据，也就是说，扩散模型是最不隐私的图像模型形式，其泄露的训练数据是GANs的两倍以上。

并且从上面的结果中还可以发现，现有的隐私增强技术并不能提供一个可接受的隐私-性能权衡，想提高生成质量，就需要记住更多训练集中的数据。

总的来说，这篇论文强调了日益强大的生成模型和数据隐私之间的矛盾，并提出了关于扩散模型如何工作以及如何负责任地部署它们的问题。

版权问题

从技术上来讲，重建（reconstruction）正是扩散模型的优势；但从版权上来说，重建就是软肋。

由于扩散模型生成的图像与训练数据之间的过于相似，艺术家们对自己的版权问题进行了各种争论。

比如禁止AI使用自己的作品进行训练，发布的作品添加大量水印等等；并且Stable Diffusion也已经宣布，它计划下一步只使用包含已授权内容的训练数据集，并提供了一个艺术家退出机制。

在NLP领域同样面临这个问题，有网友表示自1993年以来已经发布了数百万字的文本，而包括ChatGPT-3等所有AI都是在「被偷走的内容」上训练的，使用基于AI的生成模型都是不道德的。

虽说天下文章一大抄，但对普通人来说，抄袭只是一种可有可无的捷径；而对创造者来说，被抄袭的内容却是他们的心血。

在未来，扩散模型还会有优势吗？

参考资料：

https://arxiv.org/abs/2301.13188

猜您喜欢：

深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

 戳我，查看GAN的系列专辑~！

一顿午饭外卖，成为CV视觉的前沿弄潮儿！

最新最全100篇汇总！生成扩散模型Diffusion Models

ECCV2022 | 生成对抗网络GAN部分论文汇总

CVPR 2022 | 25+方向、最新50篇GAN论文

 ICCV 2021 | 35个主题GAN论文汇总

超110篇！CVPR 2021最全GAN论文梳理

超100篇！CVPR 2020最全GAN论文梳理

拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享

《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》

《礼记·学记》有云：独学而无友，则孤陋而寡闻

欢迎加入 GAN/扩散模型 —交流微信群 ！

扫描下面二维码，添加运营小妹好友，拉你进群。发送申请时，请备注，格式为：研究方向+地区+学校/公司+姓名。如 扩散模型+北京+北航+吴彦祖

请备注格式：研究方向+地区+学校/公司+姓名

点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！