当前位置:   article > 正文

这个Deepfake换脸太恐怖!单张照片实时视频换脸,5分钟安装不挑硬件

deep-live-cam 论文

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号:CVer111,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

158576f553784458c3894e8150b16fdb.png

白交 衡宇 发自 凹非寺
转载自:量子位(QbitAI)

马斯克“最新直播”,不好好扣他那polo衫扣子,拿个手机打光晃来晃去。

看他脑袋左转右转,嘴角扬起的微笑,ak都压不下去。

Why啊?!

1e57a14c43f4ca0f4c008a37dcef8d45.gif

答案揭晓——这活灵活现的马斯克,根本不是马斯克本马!

而是一个最新AI换脸项目生成的:

只需一张照片,就能换脸搞直播

不得不说,这样的马斯克还挺吓人的,有点鬼片怪蜀黍内味了~

本地安装一下,就能达到实时无延迟,还支持实时预览。

也就是说,无论搞在线会议还是直播带货,可以用任何人的脸了。

一打开会议软件,30个马斯克正在开视频会议;一打开直播间,100个董宇辉在发大额优惠券。

1fc53156a2bb8893bdb5a9277c74389e.png

这个项目,叫做Deep-Live-Cam,无需专用硬件加速。

虽然AI换脸已经不是新鲜事,但因为“1张照片就能偷走你的脸去直播”,效果贼好,还被开源——项目一下就火了。

直奔GitHub热榜第一,24小时狂澜1600+星。

0037fc234c95964e974c441ee4cba1e8.png

围观网友中,激动者有之:

笑不活了,以后我参加任何视频会议,再也不用本人出席了哈哈哈哈哈哈!

be6fc7edfbcaf0c12ada9562e0ae49b1.png

也有人连连感慨,连老人都能用AI直播挣钱的时代终于降临,这一天来得太快就像龙卷风:

想过这一天会来,但没想过它来得这么快!

3fa46dfcd1bd712788e2005e47f5c27c.png

实时换脸直播造假

你有看过马斯克穿着汗衫在出租屋的场景吗?

7ddb7bc3f88ce851c66e4b46175f8721.png
“马斯克”一本正经盯着屏幕

这个项目一出,大家都开始疯玩了起来,目前GitHub已累计5300+星。(注意看,简介里还特意注明未经审查)

17b3c83c0d225e05d3e3102d33921907.png

比如这位网友带来repo,对它给予了高度的评价。

它的工作几乎完美无瑕,而且完全是实时的。我只花了5分钟就完成了安装。

143d47f80547c402a1b2178bdb6b8b2b.png

之所以安装这么快,在后面他也透露了自己计算配置,确实很顶了。

4a3905331affcc30449de1120444c62d.png

他换脸胡子拉碴的小扎扎克伯格,或许他老了之后就变成这样了吧。

ca51e5c90ce45216d898d021ab409d76.gif

随后摇身一变,变身成了帅气大叔乔治克鲁尼,但嬉皮笑脸版。

1f750b8e2c4001474dd4f4f6cedac465.gif

还有休格兰特。

bb32b5c9cb16e3211ac336a34628eef5.gif

相信细心的朋友也看出来了,为啥这三位的发型和胡子都一样。

这应该也是这款软件的一个小bug:发型不能轻易改变,胡须也很难隐藏。

17482192878d0c67bbf621563bf7fada.png

因此它无法解决一些秃头的需求——没办法通过换脸长出头发……

9a53dc75fbf208fd99906a23f13a58bf.png

也是注意到这个软件背后存在的风险,作者在项目最开始就特此声明。

216619b7ea2415cfe08117d717660a64.png

首先,这款软件旨在为人工智能media行业做出贡献,去帮助一些博主啊什么的完成一些任务,比如制作自定义角色的动画、将角色用作服装模特等。

为了避免一些不道德的应用,它有个内置检查功能,可防止程序处理一些不适当的内容。

作者也坦言,未来项目也可能关闭或者在输出结果上添加水印。并建议大家如果使用的是真人面孔,建议征得当事人的同意,并在网上发布内容时明确说明这是DeepFake的。

随后作者分享了食用技巧。他首先表示,他在本地计算机(CPU)更有可能运行,但速度会非常慢。

简单四个步骤:首先进行一些配置:python (3.10版本推荐);pipgit;ffmpe;visual studio 2022 runtimes (windows);克隆存储库,然后下载两个模型:GFPGANv1.4和inswapper_128_fp16.onnx,并将其放到models这个文件夹中。

6be78e90ea9114891d96b0ededfd5f9d.png

最后再安装依赖项;如果想使用GPU加速,作者也进一步提供了操作指导。

安装完成之后就可以进行使用啦~不过首次运行时会下载一个大约300M的模型。

44d9e5627b1556115a9c36bf68bd14ab.png

如图所示,选择一张脸的图像以及目标图像or视频,然后点击Live

这个项目的前身叫做roop-cam,拍摄一段视频,用你选择的人脸替换其中的人脸。

2f141653e17afb34b2ec7fbbea521cf9.png

您只需要准备一张所需人脸,比如寡姐的图像。整个过程无需数据集,无需训练。

b13b88f6d1a3fd91c535e1b8def9f485.gif

同样也支持Live模式。

762656e6f6b629ab6eb97767687bb8e4.gif

几乎无法区分的照片级真实感

随着开源时间渐长,开发者和围观网友们的讨论也日益增多。

不少人认为这很“crazy”,因为操作门槛这么低、效果这么好的项目,它居然开源了。

087adf4b9901f257700108845d31d794.png

另一群认为这很“crazy”的人,则是忧心忡忡,觉得这个世界更加真假难辨了。

dbbcf7195011444111094a2055f6c4ef.png

后者担心的问题,显然摆在我们每一个人眼前。

AI换脸——无论是直播、视频会议还是图片、语音,都是现在网络冲浪的各位,需要瞪大眼睛仔细辨别的。

就拿近期AI绘画届,最新顶流FLUX来说吧!

这是Stable Diffusion原班人马官宣创业的第一个项目,连AI大神卡帕西都激情转发表达对其效果的赞赏。

不管是手还是文字,效果都很真实,很震撼。

5ab4ece820b326089262ccb377b8fb9f.png

FLUX生成的“照片”

于是有推友,用FLUX、可灵等AI生成工具,做了一个100%AI的油管主播。

网友看了直流泪,“AI为什么生成得这么逼真,难道我们是不知道真人长啥样嘛6070deafe342ccca392c0c77cfbb7abc.png。”

难怪有人感慨,这难道就是传说中的“硅谷遇上恐怖谷”?

以后的互联网,一定是超奇怪的地方……虽然现在就已经很奇怪了啊啊啊啊啊呜呜呜呜呜。

6ba6f447fdd194f218faed394d5c27f7.png

对此,量子位只能说——

那如果,再加上这个口型同步模型ReSyncer呢?(对,这有一个狗头)

ReSyncer放出了自己和Heygen在唇形同步效果上的对比:霉霉再现说中文神技。

观感是什么?

大概或多或少都和这位推友有共鸣:

AI技术让真·后真相时代到来了。

6d49ecd4b704e100e6ce0f5101b47765.png

说到这儿就不得不放个近期的新闻:

3天前(8月7日),湖北黄石市公安局下陆分局对外公布,破获了一起用AI换脸技术解冻社交账号并倒卖获利的案件。

三名男子把一些视频进行AI换脸,然后用换脸后的动态面部,来解冻一些已被平台冻结了的账号。

最终,他们仨利用AI换脸,解锁了2000余个社交账号,非法获利超40万元。

谁说AI带来的诈骗风险,只来自于直接换脸呢?

15b109522460f1d84c2d6277ae14a686.png

但AI生成、AI换脸走向几乎无法区分的照片级真实感,已经是大势所趋。

怎么办?!

已经有人坐不住了,在讨论区表示,正在针对渲染时的编解码器,开发一个深度伪造检测插件。

让我们为ta加油吧……

参考链接:
[1]https://github.com/trending
[2]https://www.reddit.com/r/singularity/comments/1eo4sne/single_image_to_live_stream_deep_fake_deeplivecam/
[3]https://x.com/levelsio/status/1822067118914879808

 
 

何恺明在MIT授课的课件PPT下载

 
 

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

ECCV 2024 论文和代码下载

在CVer公众号后台回复:ECCV2024,即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

 
 
  1. 扫描下方二维码,或者添加微信号:CVer111,即可添加CVer小助手微信,便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
  2. 一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

 
 
  1. ▲扫码或加微信号: CVer111,进交流群
  2. CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集上万人!
  3. ▲扫码加入星球学习
 
 
  1. ▲点击上方卡片,关注CVer公众号
  2. 整理不易,请赞和在看
声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号