Deepfake——深度造假视频在智能城市中的风险_具有局部缺陷的deepfake

近况普调——什么是Deepfake(深度造假)

最近，Deepfake和视频修改技术的使用已经成为一个问题，许多人使用这种新兴的技术进行邪恶的目的。Deepfake这个词是一个网络俚语，用来描述一段基于网络的视频，其中至少有一个人的脸被完全交换了出来。这意味着这些视频有能力误导公众，让他们看到一个人说或做一些他们本来不会看到的事情。当然，虽然深度造假在互联网和未来社会中会产生许多问题，但它们本身并不具有破坏性。互联网上的许多内容创造者在制作喜剧视频时使用了这项技术，这项技术甚至在好莱坞电影创作中也被证明是有用的，因为当一个演员无法完成他们的角色，而不能重新选角时，这项技术就被证明是有用的。

根据Wagner和Blewer(2019)的说法，这个词是由deep learning和fake两个词组合而成的。这个词源于社交媒体网站Reddit的一名用户，他制作并传播了一段带有好莱坞面孔的色情视频演员盖尔·加朵(Gal Gadot)在原女演员(科尔，2017年)的脸上进行了拼接。在回顾媒体的起源时，我们可以清楚地看到，这些视频的创作结果是多么的模糊。
纵观历史，人们一直使用各种技巧和方法来影响人们在照片中看到的东西。一些政客在照片中删除了其他政客，以表明他们不再与他们结盟。这方面的一个例子是，阿道夫·希特勒将约瑟夫·戈培尔从1937年的一张照片中删除(如图12.1所示)，或者斯大林将政委从另一张照片中删除(图12.2)。随着技术的发展，照片处理策略变得更加先进，最近出现了一种创建视频的方法，但这并没有真正发生。这可以通过多种方式实现，其中之一就是Deepfake。深度造假大多是在视频中把某人的脸换成其他人的脸。虽然这看起来无害，但这些视频可能会毁了人们的生活或事业，甚至可能引发战争。使用类似的技术也可以制造出Deepfake他人的声音。因此，能够检测并在可能的情况下防止deepfake被用于非法活动是非常重要的。根据创作者的动机，他们有可能大规模地改变公众的看法。这些Deepfake视频的两个最具问题的用途是是在创造Deepfake和报复色情，在创造“假新闻”和政治宣传，有可能对地缘政治前沿产生巨大影响。
在过去几年里，Deepfake技术被用来在未经个人许可或不知情的情况下制作色情和其他露骨的性视频。大多数这些事件是为异性恋男性观众创造的，女演员被深度造假到视频中。随着这项技术的普及，这类内容将在互联网上变得越来越普遍，名人将被编辑成其他色情内容。深度造假色情作品也可能会对目前流行的敲诈和报复色情作品造成危机。煽动者可以在deepfake上制作一段无辜个人的视频，并威胁将其传播给公众，除非对方提供货币价值或服务。
有争议的是，Deepfake视频的一个更大的威胁是它们可能改变有关国内外政治的公共话语。在2016年英国脱欧公投和唐纳德·特朗普当选美国总统之后，很明显，英语社交媒体平台上有大量误导用户的假新闻。假新闻一词可以被定义为有意且可证实的虚假新闻，可能会误导用户(Allcot和Gentzkow, 2017)。这些假新闻文章是由外部势力制造和传播的，目的是误导读者相信其内容，散播不满情绪，很容易操纵社会成员。
政治人物的深度造假视频可能导致广泛的虚假信息和操纵。一个老练的政治煽动者将有能力采取某些行动，比如让政治对手处于妥协的状态，以减少他们在选举中的选票份额，或者让一个政客说一些他们没有说过的话，以制造不信任和怨恨。据Chesney和Citron(2019)称，随着Deepfake技术质量的提高，不久的将来Deepfake将比2016年的假新闻更生动、更真实，因此也更容易分享。目前尚不清楚正在出现的Deepfake技术在未来的民主选举中会对社交媒体产生多大的影响，一些人认为，制作Deepfake视频的成本太高，无法用于任何大规模的竞选活动。正如 wang(2018)解释的那样，使用人工智能是制造恶作剧的一种相对昂贵的工具。
未来Deepfake技术还可能被用于其他不法行为，比如诈骗和诈骗等犯罪活动。2019年9月，据报道，人工智能被用来诈骗一家英国能源公司的首席执行官20万英镑(Statt, 2019)。诈骗者利用这种Deepfake技术，模仿该高管老板的声音，命令将资金汇入匈牙利的一家空壳公司。随着技术的发展和广泛应用，企业和公司将不得不采取安全措施，以抵消大量资金被骗的机会。然而，似乎又一次，由于技术目前仍然昂贵和耗时耗力，面临这类犯罪风险最大的实体是高级别公司，他们有资源使犯罪的回报物有所值。
Deepfake技术的众多用途之一，是作为电影制作的媒介，被公众视为合法和道德的。在某些电影中，可能会使用深度造假来替换那些无法扮演该角色的演员，而导演选择不重选演员。2016年迪士尼电影《星球大战外传:侠盗一号》(Rogue One: A Star Wars Story)就是使用这种技术的一个著名例子。在这部电影中，Deepfake技术被用来重现演员彼得·库欣(Peter Cushing)扮演的塔金总督(Grand Moff Tarkin)，尽管他在1994年去世了。然而，使用Deepfake技术来替换已故演员也引发了一些争议。记者戴夫·伊茨科夫(david Itzkoff, 2016)表示，在这样做的同时，他们也深入探讨了一场后现代主义的辩论，即延长角色的寿命和超越角色起源演员的形象的伦理问题。深度造假的使用进一步模糊了演员和他们曾经为观众描绘的角色之间的界限。还有人担心，在未来的某个阶段，Deepfake技术可能会因为使用特效而不是演员本身而让表演行业过时。记者卢克·坎普(2019年)问，我们是否有一天能看到具有美学说服力的数字人类与人工智能驱动的虚拟人类结合在一起，制造出完全人工的演员?

深度造假是如何实现的？

有许多不同的组件和技术可能涉及到制作深度造假。在当前的科技环境下，休闲换脸技术已经成为一种常见的场所特色，Snapchat等移动应用程序可以让人们与另一个人换脸。2015年，Snapchat以1.59亿美元的价格收购了乌克兰初创公司Looksery，以声称他们开发的换脸技术。根据詹姆斯·勒(2018)的媒介,这背后的三个主要步骤技术检测的人脸图像或框架,面部地标的检测这些面孔,和图像的处理fnal改变图像作为输出。Snapchat应用能够从图像中检测人脸，方法是通过图像背后的底层代码找到定义面部特征的任何颜色(Syed, 2019)。例如，眼窝周围的区域比脸部其他部位的颜色要深，而前额则会更白。
尽管深度造假材料似乎与人脸交换技术的工作原理类似，但两者的关键区别在于，深度造假的创作严重依赖人工智能(AI)。人工智能领域规模庞大且不断增长，但它被简单地描述为通过使用计算模型来研究心智能力(Charniak and McDermott, 1985)。机器学习是人工智能领域的一个子集，它依赖于通过从周围环境学习来模拟人类智能的计算算法，在包括模式识别、计算机视觉、航天器工程、金融、娱乐、和计算生物学(El Naqa和Murphy, 2015)。换句话说，机器学习是一种利用数据和信息为自己进行决策的人工智能形式。另一个用来描述人工智能的术语是神经网络，它可以被描述为“一系列算法，通过模仿人类大脑的运作方式，努力识别一组数据中的潜在关系”。
人脸识别技术是Deepfake视频创作的重要组成部分，因为人工智能必须从原始视频中挑出人物的脸，并将第二张脸拼接到视频中。人脸识别软件背后的一个有效工具是生成式对抗网络(GAN)的使用。GAN是另一种机器学习技术，创建于2015年。该技术的创始人之一Ian Goodfellow等人(2014)描述说，该技术使用两个神经网络相互竞争。当给定一个训练集，如视频或图像时，使用GAN可以创建与训练集具有相同特征的原始数据。

上图说明了将训练集输入到网络时所采取的步骤。Generator负责创建数据实例，而Discriminator验证数据是否来自训练集。自动编码器是另一种机器学习技术，用于创建深度伪造。自动编码器的目的是学习如何有效地压缩和编码数据，然后学习如何将数据从简化的编码表示重构为尽可能接近原始输入的表示(Badr, 2019)。

如图所示，列出了这个过程中涉及的步骤。在编码器阶段，数据被压缩成一个简化的表示，而在解码器阶段，数据被重构，以尽可能接近机器的输入。
自动编码器用于提取最重要的特征，以重新创建原始输入。为了对图像进行深度伪造，需要对两张不同的图像使用两个独立的解码器，并将照片中人物的脸输入特定的编码器。然而，图像不是进入它们自己的解码器，而是被交换到其他图像解码器。在此基础上，解码后的图像将重建图像中的人，以具有第二幅图像中人的特征。
AI与deepfake的开发同时使用的一个例子是谷歌Duplex系统。这项技术允许用户通过电话重新创造出类似人类声音的声音。Duplex基于一个循环神经网络，一个主要用于语音识别的神经网络。网络学习它的数据信息将谷歌自动语音识别(ASR)技术,以及从音频特性,历史的对话,对话的参数(如为预约所需的服务,或当前时间)和(利维坦,2018)。该程序和开发人员从谷歌存储的数千种不同的声音和对话中学习，甚至提取语调和语音错误，以便听起来还算自然。
虽然这个软件的目的是创建一个新的操作计算机的界面，重点是通过电话联系他人的口头指令，但使用Duplex可能会被破坏，以deepfake另一个人的声音。之前描述的金融诈骗案使用了类似谷歌Duplex的基于人工智能的语音模仿软件，诱骗该公司把钱交给骗子。开源机器学习工具，比如谷歌的TensorFlow，也经常被用于deepfake的创作和他们的人工智能。TensorFlow是一种机器学习系统，可在异构环境中大规模运行，旨在支持各种应用，重点关注深度神经网络的训练和推理(Abadi等人，2016)。换句话说，它可以被描述为一个开源的人工智能库。总的来说，TensorFlow存储了与之相关的数据，用于语音识别、文本分析、图像识别和视频检测等应用。通过TensorFlow提供的数据对deepfake的创建非常有用，因为它可以在任何被伪造的媒介上提供相关数据，比如个人的脸或声音。

深度造假被创造出来的目的

为了评估为什么深度造假会存在，我们需要把网络文化作为一个整体来看待。自从互联网开始流行以来，“网络喷子”这个比喻就一直存在。第一次提到这个短语是在1992年Usenet的一个揭露神话和传说的小组中(Brown, 2016)。一段时间后，该组织发明了他们自己的词汇表，并将troll列为会回复的人吸引可预测的回应或名声。troll指的是那些不仅通过无害的辩论或评论来煽动其他网络用户的人，现在他们还会做一些更具威胁性的事情，比如在色情材料中制作女性名人的虚假视频。色情内容不仅限于女性，也不限于名人。只要创作者有足够的训练内容，他们就可以创造出足够逼真的普通人的描述。2012年，诺艾尔·马丁成为Deepfakes的受害者，人们在她的社交媒体上找到她的非性照片，并用它们制作虚假的色情视频。有些照片是在她18岁以下时拍摄的(柯蒂斯，2018年)。这可能比那些用明星面孔制作的照片更糟糕，人们不知道这些照片是不是伪造的。
deepfake也有一种社区的感觉。如果没有社区的话，reddit的r/ deepfakes版块不会发展到这样的程度。的很多人参与的分布在r / SFWdeepfakes Deepfakes感到生气当subreddit拍摄下来,与用户声称他们不理解为什么不同的人制作面临到使用裸体模特(RedCow1, 2017)。另一个原因可能是政治原因。正如前面所讨论的，过去，政治领导人为了推动特定议程而篡改形象。由于引入了深度造假，这现在可以应用到视频。“浅层造假”指的是视频内容虽然没有改变，但却被操纵以传达与之前意图不同的观点。在南希·佩洛西声称唐纳德·特朗普在掩盖真相的第二天，特朗普在推特上发布了一个肤浅的假消息，被编辑成她在演讲时口吃，因此不称职，不知道自己在说什么(特朗普，2019年)。到目前为止，deepfake在政治领域还没有受到不利影响，但如果有人创造了一个，他们可以让选民转而支持另一个候选人。

深度造假的安全问题

一些人可能会质疑deepfake只不过是无害的，或者，在最严重的情况下，deepfake的后果并不严重。然而，其他人会辩称，它们可能会产生非常危险的后果。政治上，他们可能会发动战争。至少可以说，美国与朝鲜的关系是不稳定的，有一种可能性是，某个人可能会制造出一种很深的假象，其中一名领导人会向另一名领导人宣战。目前，deepfake用人眼可以很容易地检测出来，但技术进步很快。因此，在未来五年内，这种情况是可能的。在一个不那么严重(但仍然主要)的范围内，人们可以使用深度造假作为进一步影响人们政治观点的一种方式。深度造假有可能传播有关候选人和其他政治领导人的不真实信息(例如，特朗普发布的关于南希·佩洛西(Nancy Pelosi)的肤浅造假的推文)。即使这段视频被证明是假的，它仍可能留在选民的脑海中，改变他们对片中人物的看法。名人的安全问题也很严重。它们不仅可以用来生成色情内容，还可以通过创建Deepfake等方式来抹黑名人的身份，比如谎称它们的诽谤或犯罪事实。这可能会毁掉他们的职业生涯，就像政治诽谤活动一样，它会对人们对他们的看法产生持久的影响，即使视频被证明是假的。
政治领袖和其他公众人物并不是deepfake的唯一可能受害者。作为一个社会，我们已经习惯了上传当天代表我们生活的照片。这些可以在被试不知情的情况下被下载并用于Deepfake视频中。我们的数字足迹是如此之大，即使我们试图消除一切，也将很难。因此，掠食者可以利用这一弱点，并利用这些图片开发deepfake，有时是为了报复，有时是没有任何原因。人们可以使用Deepfakes作为一种方式来模仿在公司工作的人，他们可以进一步发展鱼叉式网络钓鱼策略。据《华尔街日报》(wsj)报道，“Deepfake”的目的是模仿首席执行官(ceo)的声音，要求支付20万美元以上的赎金。该公司的首席执行官认为他正在与他的经理交谈，并被告知这是紧急的转账需求(斯图普，2019年)。随着人们越来越意识到网络钓鱼电子邮件，这是一个新的和危险的方式骗子诈骗的人。随着Deepfake技术的发展，他们卷入法律纠纷的可能性也在增加。如果deepfake有足够的说服力，那么人们就有可能利用它们来为别人没有犯过的罪行定罪。或者，公众人物可以声称，一段有罪或冒犯性的视频不是他们，而是Deepfake。人们还可以使用deepfake制作引起恐慌的视频，如紧急广播和恐怖主义威胁(汤森，2019年)。总的来说，deepfake在个人和公共安全方面的担忧是巨大的。人们的生活可能会陷入危险，职业生涯可能会崩溃，作为一个受害者的结果。一个人认为无害的玩笑，可能对另一个人的生活是灾难性的。

企业如何应对深度造假技术的使用？

随着新兴的Deepfake技术给企业、组织、社会和个人带来的风险和危险，用于检测Deepfake媒体的安全措施和技术的数量一直在快速增长，以打击Deepfake。对于使用Deepfakes的许多金融诈骗案例，基本的安全预防措施可以用来打击骗子。当一个组织中的个人正在处理大量数据时，密码或安全问题可能是合适的。这将为任何利用Deepfake冒充公司高层人员要求转账的骗子创造额外的障碍。然而，这并不是一个完美的解决方案，就像所有使用密码的安全解决方案一样，它的强度取决于用户的设置。一个弱密码或安全问题很容易被有能力的骗子解决。这种解决方案也可能导致组织内部出现不信任和偏执的气氛，因为没有强有力的方法来验证高层个人的命令是否合法。相反，使用技术解决方案来解决Deepfake问题可能会更好。即便深度造假精度足够高，高到可以欺骗人的眼镜和耳朵时，他们创造的效果并不完美。技术可以用来检测这些缺陷，从而确定输入的媒体是假的还是真的。这些缺陷的一个例子是，Deepfake图像或视频通常会有一个与面部不一致的头部姿势。Yang et al.(2019)的研究表明，“Deep fake是通过将合成的人脸区域拼接到原始图像中产生的，在此过程中，引入了可以从人脸图像中估计出的3D头部姿态的误差”。他们建议的解决方案是使用支持向量机来评估图像或视频中人脸的特征和地标，看看它是否与头部倾斜的角度相对应，并确定所呈现的图像是否是真实的。
另一种类似于分析头部倾斜的图像的解决方案是分析图像，以检测图像是否包含任何独特的伪图像，这些伪图像是由Deepfake算法产生的有限分辨率生成的。根据Li和Lyu (2018)， Deepfake技术的这一局限性是由于算法只能合成固定大小的人脸图像，它们必须进行仿射扭曲以匹配源的人脸配置。通过将生成的人脸区域及其周围区域与专用的卷积神经网络(CNN)模型进行比较，可以使用一种深度学习方法来检测图像中的这些独特的伪像。与其他解决方案相比，这个解决方案具有节省更多时间和资源的优势，因为不需要为它提供另一个Deepfaked图像作为比较。
图像的PRNU也可以分析，以确定它是否是深假。PRNU是Photo Response non - consistency(光响应不均匀性)的缩写，用来描述数码相机上的光传感器产生的噪声模式。研究人员Koopman等人(2018)推测，由于每个PRNU对摄像机来说都是独一无二的，它可以用来检测视频是否Deepfake。PRNU分析被认为是重要的，因为预计面部区域的操作将影响视频帧中的局部PRNU模式，而这不会发生在内容是伪造的视频中(Hui 2018)。还有多种其他方法可以检测Deepfake特征，Agarwal和Varshney(2019)列出了视觉伪像、图像质量、口型同步、眨眼或变形等分类特征，可用于区分真假。对付Deepfake视频的另一种方法是追踪视频的原始来源，看看它是否合法。根据Hasan和Salah(2019)提供的研究，其中一种方法是使用区块链和智能合约技术。本研究将区块链描述为具有在分散分布式账本中提供不可变和防篡改数据和事务的能力，该账本可以用于呈现分散的证明真实性(PoA)系统。
术语智能合约用来描述区块链中的协议，它允许在没有任何第三方参与的情况下进行安全交易。本章还描述了智能合约将如何利用星际飞行系统(IPFS)的哈希值来存储数字内容及其元数据。这一章总结了深度造假问题的解决方案，指出它依赖的原则是，如果内容可以可靠地追溯到一个可信的或有信誉的来源，那么内容就可以是真实的和真实的。

相关法律

随着Deepfake技术的发展，其潜力和威胁迅速上升，世界各国和法院都在Deepfake技术还没有获得足够的关注之前，就制定了防止其被用于不法活动的法律。美国加利福尼亚州禁止在选举后60天内制作和传播Deepfake视频、图像或其他录音(保罗，2019年)。这是为了保护潜在选民不被恶意的虚假信息和虚假新闻所左右，让每一个候选人都能进行适当的选举。另外，在美国，有人指出，有可能与宪法第一修正案(国民和媒体的言论自由保护)相冲突，因此制定了禁止制作和传播深度造假视频的法律。根据Harris(2018)，虽然Deepfake视频并不一定受到第一修正案的覆盖，由于它们经常是虚假和淫秽的，事实是，许多法院在处理虚假言论时仍然犹豫不决，以避免寒颤否则受到保护或有价值的言论。Harris还表示，Deepfake视频通常属于“合理使用”类别，因此将受到保护，免受潜在的版权侵犯。
在英国，目前还没有法律禁止制作和传播Deepfake色情或政治视频。2018年10月，妇女与平等委员会(Women and equality Committee)呼吁议会将未经同意和分发亲密性图片定为犯罪行为，原因是受害者不同意(议会、下议院，2018年)。这项法律将涵盖在英国各地制作和传播“深度造假”色情作品的违法行为。虽然目前还没有重要的法律可以用来打击深度造假及其带来的新问题，但许多网站和社交媒体平台已经根据自己的道德标准采取了行动。《赫芬顿邮报》的加拉格尔(2019年)指出，网站PornHub、Twitter和gif托管网站Gfycat都禁止使用Deepfake技术制作色情内容。这个社区是色情Deepfake内容崛起的起源，社交媒体网站Reddit的r/ Deepfake，在2018年也被网站管理员禁止，Deepfake色情也被完全禁止在网站上(Lutkin, 2018)。等Deepfake媒介是一种新技术,快速发展与增长的人工智能软件,它可能是非常困难的法院和网站管理员制定计划如何解决这些问题,特别是Deepfake技术改善影响越来越忽略。因此，很难知道深度造假的未来会如何，以及如何解决它们。

深度造假的未来

没有人真正知道Deepfakes的未来会怎样。深度造假是如此的新颖，并且在如此短的时间内变得如此逼真，毫无疑问，这一趋势将会继续下去。不仅制造它们的技术会变得更精确，而且人工智能将能够收集更多的数据，并将其添加到学习集，使其更真实。deepfake的真实感越强，在法律案件中使用它们的可能性就越大。因此，人们可以逃脱他们犯下的罪行，或者可以指控其他人犯下他们没有犯下的罪行。网络钓鱼诈骗会变得越来越复杂，因为比起电子邮件，越来越少的人会认为别人的声音是假的。深度造假越逼真，检测起来就越困难，这也会带来问题。
另一方面，它也可以带来许多好处。这项技术将继续变得更容易使用，尽管这可能是一件坏事，但它开启了开发人员创建虚拟助手和独立视频创作者能够编辑他们的电影或草图的探索。企业和政府很可能会继续打击非法使用深度造假产品。除了加州已经在2020年推出的法律外，目前还没有出台其他法律的计划，但深度造假的影响可能会改变生活，也可能很容易被用来动摇选民。因此，有人会说，这些视频是反民主的，这甚至没有考虑到网络安全的危险。

本文小结

目前，Deepfake技术用于不法行为的潜力是巨大的，而且只会随着技术的发展而扩大，Deepfake的效果对人眼和技术检测程序来说变得更加微妙。目前，Deepfake技术的主要用途似乎是色情、政治诡计、勒索和金融诈骗。考虑到这项技术可能对企业资金、政府信誉和个人自由构成的安全风险，企业和组织找到解决技术问题的方法是非常重要的。Deepfake内容的创作与人工智能和机器学习高度相关。谷歌等科技公司开发的人工智能软件已被用于deepfake的开发框架。这方面的例子包括谷歌Duplex和TensorFlow，它们被用来提高创建内容的效率。
用于创建深度造假的两个主要技术组件是生成式对抗网络和自动编码器。GAN这个术语是指一种机器学习技术，其中两个神经网络被用来竞争，以便从原始数据集创建原始数据。术语Autoencoder用于定义一种方法，在将输入解码为原始输入的重构版本之前，以压缩表示对输入进行编码。由于深度造假技术与人工智能密切相关，而人工智能本身是一个快速发展的研究领域，因此目前对抗人工智能的方法非常有限。网络安全专业人士目前正与不法分子展开一场军备竞赛，目的是在技术发展到难以做到的程度之前，找到一种解决方案，来确定图像、视频和声音是否真实。目前用于检测深度造假的主要方法是使用技术来发现人眼通常无法看到的微小不规则和差异。在deepfake中，这些不规则的例子包括头部角度、面部分辨率和视觉伪影。
由于deepfake从最初的发展到现在的时间跨度相对较短，世界各地的立法和法院法律都没有太大的变化。许多国家已经出台了针对性骚扰和非自愿色情的法律，根据这些法律，Deepfake色情作品的创作和传播将受到限制。同样，许多国家也有针对金融欺诈和勒索的法律，因此使用deepfake来达到这些目的也会被认为是非法的。然而，大多数国家和法院并没有针对意图传播虚假信息和不满的deepfake传播的任何法律，一些国家甚至在讨论将这些非法行为定为非法是否会违反他们的言论自由法。在接下来的日子里，人们将进一步努力平息和打击Deepfake的问题，从立法者和司法人士到软件开发人员和安全顾问。然而，Deepfake问题能否从互联网上完全克服和消除，还有待观察，因为人工智能技术和领域的发展超出了目前的可能性。