「云毕业照」刷爆朋友圈！AI人脸融合技术谁家强？

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

2020，特殊的毕业季，需要特殊的纪念。

之前看过日本东京的BBT大学使用的「Newme」机器人代替学生参加毕业典礼，就问能不能来点儿阳间的东西？

AI才有的仪式感：大家一起云毕业！

没有学士服，没有毕业典礼，也没有了毕业旅行，不过我们还有美美的自己呀。

这个人生的特殊节点还是需要一些仪式感，好在有AI技术可以帮助大家拍「云毕业照」。在每一个值得纪念的校园「隐秘的角落」，为心爱的TA「拍一张照」。

       

就算秃了也不怕，还有AI帮你修复，还你一个白衣飘飘，明眸皓齿的俊逸少年。

科研十年寒窗苦，一朝成名头已秃

 

还可以实现性转，微表情也随之变化，细节逼真。

最近，腾讯云推出了一款名叫「云毕业照」的服务，基于腾讯优图的人脸识别算法，采用了人脸融合、人像/人体分割、照片合成等AI视觉技术。一时间，刷爆毕业生朋友圈。

 

相比传统的「换脸软件」，这项服务生成的效果图更加逼真，并且测试来看，它的素材库非常大，可以提供许多的场景。甚至还可以完成性转，看一看「世界上另一个你」是什么样的。

 

官微中表示还可以实现多人合影，可以实现师生合影，创意合影等。但是目前试用版只有单人的。

 

只会3块钱1个人的p图吗？不如试试「人脸融合」！

看到效果图，有网友提出质疑：「这不就是普普通通的p图吗？我们学校的毕业照也是这么p的，3块钱一个人，p了百来块。」

        

但事实上，这个小程序的「云毕业照」可比p图的自然多了。

 

p图的原理是采集你的五官和发型，但是你的眼神，表情是不能动的。如果你拍照的原图是咧嘴笑的，那么p图后的成果大概率不能变成抿嘴笑的，因为p图只是把你的五官粘贴上去而已。

 

「云毕业照」和僵硬的p图就不是很一样。它的原理仅仅是采集了你的五官特征，并不是把你的五官直接暴力的粘贴上去，因此上传不笑的照片也可以生成一张咧嘴笑的照片。

 

下面以严良同学为例，这是利用人物照生成的一张效果图。

       

这种技术叫做「人脸融合」。

 

人脸融合的核心算法是快速精准的定位五官，提取五官的特征，让用户上传的照片和特定形象进行面部层面融合，这样生成的图片既具有用户的五官特点，又呈现了原图像的外貌特征。

 

人脸融合其实不算特别新奇的技术，很多开源的代码能够让开发者体验到简单的人脸融合。

 

opencv和dlib相结合可以实现人脸融合，具体的步骤如下：

1）检测面部标记；

2）旋转、缩放和转换第二张图像，使之与第一张图像相适应；

3）调整第二张图像的色彩平衡，使之与第一个相匹配；

4）把第二张图像的特性混合在第一张图像中。

       

这个算法是基于一篇论文《One Millisecond Face Alignment with an Ensemble of Regression Trees》，它将人脸分为68个像素点去做标记，并利用矩阵变换去进行融合。

 

除此之外还有利用百度智能云里的人脸识别和Python相结合的人脸融合，就是利用智能云来做五官标记定位，然后在Python上实现融合的算法。

 

两张图像的融合的算法也很多，这里以利用泊松融合生成「云毕业照」为例。

 

泊松融合（Poisson Blending）就是图像处理界大名鼎鼎的图像融合算法，自从2003年论文Poisson Image Editing 中提出以后，有很多在此基础上进行改进的研究。

 

所谓泊松融合，就是把不同的图像的不同部分放在一起，形成一张新的图像。融合得越自然，算法就越好。如同下图的苹果橘子图。 

定位到学士服模板中人脸的位置，然后根据人脸掩模做一个泊松融合，就能得到换脸之后的学士服照片了。

 

虽然这次腾讯云AI的人脸融合算法没有开源，但是算法思路大同小异，一般都是通过大量的测试让算法模型的精准性更高。看了毕业照的效果图之后可以肯定，「云毕业照」的算法还是很优秀的，毕竟相当一部分的性转图都没有让人觉得违和。

 

但是由于提供的素材背景库相当之多，因此不免出现一些缺陷，主要的吐槽集中在以下两点：

 

五官位置不可以调整

 

像素点标记的方式让原图层的五官位置也是固定的，但是人的五官位置因个体差异差别很大，不免出现五官分散的开或者五官挤在一起的情况，就显得相当「失真」。

以马云爸爸为例，马爸爸的五官都是个体偏大的，融合到少女的身上就有些突兀感，感觉撑满了整张脸。

 

不同造型的成品差异大

 

有的时候模板生成的照片不好看是因为个人原因，但是有的模板，所有人生成的照片都不是很好看。只能说开发者对不同造型有偏爱吧。

       

华为旷世抖音：换脸哪家强？

再来看看抖音faceapp、旷视Face++和华为ModelArts如何实现换脸。

 

旷视Face++人脸融合技术功能演示是基于 Merge API 搭建的。它可以进行人脸检测、83个关键点检测与跟踪、人脸分析、1:1 人脸比对或 1:N 人脸搜索。

 

和IU照片合成的易洋千玺还是那么帅气...

华为ModelArts目前也奉上了通过人脸融合技术提供云毕业照的实现办法。

 

在http://119.3.249.156:32123/网站通过上传证件照，通过选择不同学科类别用户可以很轻松地实现身穿学士服的毕业照的合成。上传多张照片，还可以实现一个多人合照的生成。

系统还支持背景替换。

       

最近在抖音上，一款特效「变身漫画」从明星到路人，堪称全民参与，就有小伙伴把自己的头像变为二次元漫画脸，又萌又酷，吸了一大波粉丝。       

除了「变身漫画」，「性别反转」特效也是通过GAN来实现人脸面部特征改变，包括人物的眉眼、口鼻、头发。

 

帅小伙都可以立刻变成美女，女生也可以通过这个特效一秒变帅哥。

最后，再问一句：

参考链接：

https://cloud.tencent.com/developer/article/1650422

https://cloud.tencent.com/product/facerecognition?from=10680

推荐阅读：

• 专辑|相机标定
  

• 专辑|3D点云
  

• 专辑|SLAM
  

• 专辑|深度学习与自动驾驶
  

• 专辑|结构光
  

• 专辑|事件相机
  

• 专辑|OpenCV学习
  

• 专辑|学习资源汇总
  

• 专辑|招聘与项目对接

• 专辑|读书笔记

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题