0.7秒，完成动漫线稿上色

点击 机器学习算法与Python学习 ，选择加星标

精彩内容不迷路

量子位 报道 | 公众号 QbitAI

给一张这样繁复的线稿

一步步填上颜色、赋上光影

你猜需要多长时间？

答案是最快0.7秒。

没错，这又是AI的手笔。厚涂不在话下，换种漫画上色风格，只要给出示例，这只AI也能迅速get到灵魂。

而这，还不是Ta的全部实力。有别于业内针对静态漫画的上色AI，这个来自爱奇艺的智能上色引擎，还能用来给动态漫画赋上前后风格统一的色彩。

所以，这样一只AI的「上色灵感」源自何处？我们照例一起扒一扒背后的技术~

理解线稿，精细上色

想要学会上色，AI首先要明白线稿为何物。

爱奇艺工程师们的做法，是在基于GAN的模型中引入注意力机制和语义参考模块，使得AI能够自动识别人类画师给出的线稿。如下图所示，智能上色引擎能get到眼球、斧头等各个部分完整的语义信息。

看懂了线稿，就可以进入到上色环节了。为了使得上色效果精准，并在多帧情况下保持各帧风格的一致性，爱奇艺工程师们祭出了以下几招：

• 根据具体需求调整网络结构，使模型与数据更加匹配

• 设计色彩参考模块和风格参考模块等预处理模块，提高上色图片的色彩丰富度和风格统一性

• 多种loss相结合，实现像素级别的精细匹配和上色。

具体的上色手法，就像这样：

虽然啪一下很快的，但其实爱奇艺智能上色引擎对人类老司机很「讲武德」——提供了分图层的输出模式，专业画师可以轻松在AI的基础上灵活调整上色细节。

需要说明的是，在给动态漫画上色的过程中，AI倒是也「参考」了一些人工上色的方法，比如背景和特效大多可以重复使用，上色模型可以只专注于对人物进行上色。

另外，值得一提的是，在打磨上色算法的过程中，工程师们也积累下了一套线稿数据生产系统。

对于用户而言，基于爱奇艺智能上色引擎获取到的数据，可以构建线稿数据库和不同风格的动态漫画数据库。

自动动画上色模型

看到这里，你可能会有这样一个疑问：这样的AI能应用在动态漫画的制作过程中，那么更高难度的动画呢？

最近，爱奇艺在一篇WACV 2021论文中，通过最新的研究进展，展示了未来的一种可能性。（论文地址见文末）

研究人员发现，动画帧之间存在着很强的关联性，很多只是身体位置和动作发生了变化，如果能获得帧间的相关性，只需要一帧上好色的图片，就能将其颜色变换到其他待上色帧，减少大量重复、非创造性的劳动。

为此，研究人员设计了一种相关匹配特征转移模型，称为：基于相关性匹配的特征迁移模块，Correlation Matching Feature Transfer(CMFT)，来将参考帧的颜色特征与待上色帧进行对齐。

并且，研究人员将该模型以coarse-to-fine的方式嵌入到基于U-Net的生成网络中，逐步对匹配的特征进行细化和修正。

实验表明，在帧间一致性和上色质量上，这只AI都超越了前辈。这也就意味着，AI自动上色技术未来还可能在更为复杂的动画领域大展身手。

当然啦，在这个过程中，想要实现AI和创作者习惯之间的无缝衔接，让AI模型能「摸透」创作者的想法，还是少不了算法研究者和动漫创作者之间的紧密交流、合作。

推动动漫工业化新流程

转回当下，像爱奇艺智能上色引擎这样的AI，其实已经开始在产业中发挥价值。

事实上，熟悉动漫画制作过程的小伙伴都知道，线稿上色这一步处于脚本创作、分镜和线稿之后，随着剧情的推进，动漫内容需要不断去更新延续，在流程中存在重复劳动环节，工作量巨大。

在2020年中国二次元用户规模有望突破4亿的背景之下，对于动漫产业而言，人工成本的攀升和有限的上色效率，目前已经成为限制动漫产量提高的一大障碍。

而爱奇艺智能上色引擎这样已经实际落地到动态漫产业中的AI，恰恰为解决这一矛盾带来了一种全新的可能性：改变传统工作方式，把创意交给人类，把重复交给AI。

爱奇艺表示，相较于纯人工上色，智能上色引擎预计可在动态漫制作上色环节中，节省约30%的人力。

除此之外，对于专业上色画师而言，这样的AI或许也能够提供参考，激发新的灵感，甚至衍生出更多更有意思的玩法。

论文链接：https://arxiv.org/abs/2004.06718

免责声明：本文内容来源于网络，文章版权归原作者所有，意在传播相关技术知识&行业趋势，供大家学习交流，若涉及作品版权问题，请联系删除或授权事宜。

• 

  你点的每个“在看”，我都认真当成了AI