赞
踩
作者:文摘菌
来源:大数据文摘(ID:BigDataDigest)
ZAO一夜之间就火了。
昨晚,文摘菌的朋友圈被各种经典影视剧的片段刷屏,有意思的是,这些视频的男女主角都被换上了朋友们的“脸”。
比如,和自己的女装大佬版演对角戏?
或者,给自己换一个吴彦祖或者金城武的身体?
实现这一这款名叫ZAO的场景化换脸软件,并且迅速在一夜之间,攀升至app免费娱乐榜榜单第2名,超越了爱奇艺等视频软件。#Zao AI 换脸# 话题甚至一度快速登上微博热搜榜第7位。
文摘菌也和朋友们迅速去试用了一下,你可以在“ZAO”上选定想要换脸的视频或表情包,上传自拍或本地图片,即可一键完成“换脸”。方便快捷,而且,如果照片足够清晰的话,效果还不错。
整个使用过程中,文摘菌发现了几个有意思的点:
首先,如果你授权了app访问你的照片库,那么其会非常迅速的查找你的所有照片,并自动找到其中清晰度合适的头像定位。
此外,一张清晰度过关的照片就能合成各类视频,而且合成速度非常快,即使是在使用高峰期,也基本不超过10秒钟!
创建这家app的公司是大家早已熟知的陌陌。不过据新浪报道,ZAO官方表示的精髓在于加好友,其定位主要在于社交而不仅仅是换脸工具。
其实早在今年四月份,类似的AI换脸就曾经风靡海外。今年4月份,一款可帮助用户变脸、变性的应用Facetify火遍全球,这款app实际上也是主打换脸,称能让用户看到“30年后的自己”。
这样的技术和场景看似新鲜,但熟悉文摘菌的读者一定都知道,其背后的“换脸”技术已经火了一段时间了。虽然ZAO没有直接表示其技术来自deepfake,但二者有极大的相似性。
爆火的同时,这款app也将deepfake技术,以及其面临的法律和道德窘境,更进一步的带到了国内公众面前。
新瓶老酒:换脸背后的技术支撑——Deep fakes
换脸技术如此成熟,离不开一个名为Deep fakes的软件被匿名开源发布。它本质上是一种使用AI深度学习,能够将一张图片中人的脸换到其他人的图片上的技术。通过这种技术,我们可以创建一个非常逼真的“假”视频或图片,“换脸”因此得名。
这项技术对硬件和视频、换脸人图片的质量甚至是数量要求极高,在硬件方面,尽量1060往上,内存至少8g,这只是标配,当然低于这个配置也能运行,但是效果怎么样就不好说了。而且在标准配置下,图片训练时间至少为6小时。
其实说,视频在此技术用也是被拆分为图片了,所以它和换脸人的图片要求基本一样,视频要清晰,但是也不用过分清晰,视频中要只出现被换脸人的一个人的脸,如果有其他人的脸,需要把它去掉。
有了数据和质量的要求,如果你想自己训练一个AI换脸模型需要3个步骤:一是提取数据,二是训练,三是转换。其中第一和第三步都需要用到数据预处理,另外第三步还用到了图片融合技术。所以主要包含的内容有:图像预处理、网络模型、图像融合。
具体原理思路为:对于每张脸,都训练一套编码器和相应的解码神经网络。编码时,使用的是第一个人的图片。而解码时,却是使用第二个人解码器。
也就是说,既然我们想要将两张脸互换,那么我们可以设计两个不同的解码网络,也就是使用一个编码网络去学习两张不同人脸的共同特征,而使用两个解码器去分别生成他们。
图片来自简书,具体来源见文末
如上图,也就是设计一个输入端或者说一个编码器,分别输入两个不同的脸,然后两个输出端或者说两个解码器,这样我们就可以通过隐含层来分别生成两张不同的人脸了。
对于训练部分,在这个网站中,其用复仇者联盟里面的明星来做训练很容易,毕竟有大量的网络公开图片视频。
图片不足时,还可以从现有视频中提取。在神经网络训练并学习了关于每个人面部的特征之后,它自己就能预测想出这个人还没摆出来的姿势。
比如,训练生成John Oliver。
在此技术出现之前,人们想换个脸只能依赖手动PS。这就要花费很多人工和时间,而且想在视频里换个脸更难,每一帧都得换。
但自从这个叫做“deep fakes”的软件被匿名开源发布,一切都不一样了。
类似的换脸软件还有一款叫做DeepFaceLab
在Github上有开源?
链接:
https://github.com/iperov/DeepFaceLab
DeepFaceLab是一种利用机器学习来替换视频中的面部的工具,通过运行脚本可以直接使用。收集原图像和替换图像的大量视频和图片素材,将素材剪辑成为段视频,替换data_src.mp4和data_dst.mp4,然后使用一些脚本修改其中的参数,可以得到训练之后的模型,最后会将换脸后的图片合成视频。
在法律边缘试探:换脸技术的一系列版权+用户隐私问题
deepfake大火之后就曾带来侵犯隐私等一系列法律问题。
更遭受争议的deepfake例子例如最近走红网络的一键生成裸照软件DeepNude,只要输入一张完整的女性图片就可自动生成相应的裸照,由于广泛传播而造成了预料之外的后果,开发者最终将APP下架。
被一键脱衣的霉霉
这几个例子背后都用到了深度伪造技术,即一种利用AI程序和深度学习算法实现视、音频模拟和伪造的技术,投入深度学习的内容库越大,合成的视音频真实性越高,甚至可以达到以假乱真的程度。
更值得一提的是,深度伪造技术目前已经不仅能实现换脸(face swap),更可以通过深度学习模拟真人声音、创造出现实不存在的人物肖像。利用该技术,可以以视频这一较为可信的方式让某人说不曾说过的话,做不曾做的事,达到混淆观众的目的。具备极高欺骗性的深度伪造也引发诸多争议,例如杨幂换脸,AI软件自动生成裸照,奥巴马、普京等政治人物的深度伪造视频等等,给个人和社会带来风险挑战。
前段时间,美国众议院议长Nancy Pelosi的一段深度伪造的谈话视频出现在社交媒体上,这段视频经由特朗普总统分享,在Facebook上获得了超过250万次的浏览量。早些的时候,美国前总统奥巴马的脸被“借用”来攻击特朗普总统,该视频在网站上也获得480万的浏览量。特朗普总统本人也难逃一劫,西雅图电视网曾播放过一段深度伪造的特朗普演讲视频,视频中特朗普总统满脸通红,还不时做一些滑稽的表情。由于深度伪造技术可以运用在包括总统在内的任何官员身上,美国两党开始担心该技术将成为针对美国和其他西方国家发起虚假信息战争的最新武器。
2019年6月13日,美国众议院情报委员会召开关于人工智能深度伪造的听证会,公开谈论了深度伪造技术对国家、社会和个人的风险及防范和应对措施。
和deepfake一样,ZAO的大火也让更多中国公众了解了这一“伪造”技术,是否会因此而引发相应问题,我们还不得而知。
但更重要的是,ZAO作为一款带有视频编辑功能的软件,其还需要面临两个方面的法律问题,视频素材的版权问题和用户的隐私问题。
ZAO APP的官方版权说明表示:ZAO产品上存在的短视频和表情等素材,除了特别声明是ZAO跟合作方进行版权合作的之外,均来源于ZAO用户自发的上传,ZAO不享有素材的商业版权。
ZAO上面有很多网友们“喜闻乐见”的视频素材,用户可以上传一张照片就将这些素材里面的人物换成自己或者其他人的脸,这些应该就是ZAO所说的官方版权合作。
但是当文摘菌随便点进去一个《武林外传》的视频,点击视频右下角有个版权说明的按钮时,显示是“404 not found”。
另外是用户上传的视频素材,按照ZAO官方声明的说法,版权是属于上传者的,ZAO不享有素材的商业版权,但是在注册APP时需要同意的“用户协议”中,用户对于自己上传的视频拥有所有权,同时也承担责任,但是ZAO以及其用户在全球范围内享有完全免费、不可撤销、永久、可转载授权和可再生的权利,也就是说:用户上传的视频素材版权归用户所有,但是其他任何人都可以进行修改和编辑,然后再进行传播。
这引发了一众网友的担心,这会不会产生新的网络诈骗手段?
图片来源:知乎
而在用户隐私方面,ZAO有一个单独的隐私协议,这个隐私协议和其他APP的协议并没有太多差别,包括采集一些浏览信息、设备信息、位置信息来进行用户画像和推送。
但是由于ZAO主打的是视频换脸这样的功能,隐私保护除了考虑用户数据的泄露,还应该考虑到用户的照片、声纹等信息是否会被不法利用,毕竟这是一个支付宝能刷脸支付的时代。
图片来源:知乎
其实,我国的有关部门也充分注意到了这一点,日前,全国人大常委会审议的《民法典人格权编(草案)》里,正式加了一条:任何组织和个人不得以利用信息技术手段伪造的方式侵害他人的肖像权。
而草案的第八百零三条也被修改为:其他人格权的许可使用和自然人声音的保护,参照适用本章的有关规定。
如果草案通过了正式的立法流程审核,民法典正式颁布施行,如果你不经过别人的同意,随便的把明星或者其他公众的肖像进行处理,妥妥的,你违法了。另外,不仅是脸,根据草案的第八百零三条,声音也是不能随便换的!
如果情节严重的还可能触犯刑法,例如《刑法》第246条:“以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人,情节严重的,处以三年以下有期徒刑、拘役、管制或者剥夺政治权利。”
也就是说,如果用DeepFakes、鬼畜等各种方式处理别人的脸,还没经过别人同意。很有可能触及到“恶意诽谤”、“恶意剪辑”、“侵犯名誉权”等刑法管辖范围。
这样看来,也就能理解为什么ZAO会对用户协议规定的如此复杂了。
最后,文摘菌还是想提醒大家:图片千万张,谨慎最保险,换脸一时爽, 亲人两行泪。
相关报道:
https://blog.csdn.net/qq_41173453/article/details/79598461
https://www.jianshu.com/p/dd7df75c5679
https://baijiahao.baidu.com/s?id=1630965686026976511&wfr=spider&for=pc
- 加入社群吧 -
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。