AI绘图-基于深度学习的图像风格迁移_人工智能图像风格迁移

更多内容可微信搜索公众号《Coder空间》或扫下方二维码关注

公众号原文：https://mp.weixin.qq.com/s/l6QFzV9hpVEG2ZQxp0YFfA

 

最近发现一款可以编辑图像风格的APP：Prisma。在这款APP里，可以对目标图片应用不同的图像风格从而生成新的图片。

比如可以将外滩的照片，应用Mosaic风格，得到Mosaic风格的外滩照片。看起来图片效果还挺惊艳的。

这样的图片处理转换过程专业点的描述就是：图像的风格迁移。与图像风格相对应的是图像的内容。一张图像可以由这两种特征描述：

比如说下面这张图，风格明显是中国风，图中的山、河、树则是图像的内容。

所以图像风格迁移一般指的是把图片特征中的风格部分迁移应用到目标图片的过程。整个迁移处理的输入分别有内容图和风格图，输出就是风格迁移后的结果图。应用图像风格迁移后，可以生成相同风格的图片。

使用不同风格图像的示例图：

图像的风格与内容相比，显得更为模糊，难以量化。那么如何用程序实现这样的图像风格迁移呢？事实上，目前比较主流的做法之一就是利用卷积神经网络，也就是CNN网络实现。2015 年，Gatys等人发表研究成果：A Neural Algorithm of Artistic Style，可以认为是将CNN网络应用于风格迁移的开山之作，从此之后相关的研究就层出不穷。

为什么CNN网络可以实现图像风格迁移呢？其核心点在于，CNN网络可以对图像进行不同层次的特征提取。图像具有风格和内容这两方面的视觉特征，一般可以分别对应为两个层次的特征：低层次特征和高层次特征。如：纹理和色调等可以认为是低层次特征，也就是用来描述图像风格的特征；对较为抽象的图像内容的描述则为高层次特征，也就是常说的图像内容，比如说房子，河流。所以只需要选择合适的CNN模型，并训练其中能够表示图像风格和图像内容的网络层，就可以实现新图像的风格变换。

 

除了图片之外，我们甚至还可以应用到视频上去，实现视频风格的迁移，帮助我们实现更加丰富多变的视频效果。比如下面油画风格的小狐狸。

目前也有一些基于典型风格迁移的扩展，有兴趣的可以再查找相关资料。这里举几个例子。

• 将多种风格同时迁移到一张图像中

• 图像局部风格迁移

基于图像风格迁移的方式生成图片，也是一种获取创意图片和视频的方式，甚至可以衍生出更多的营销模式。随着端上深度学习的发展，将训练好的模型部署在端上，可以直接在端上应用这些技术，移动化的应用场景和想象空间也会更大。前面提到的艺术图转换的APP基本上也是按照这种思路实现的。

 

相关引用：

https://github.com/lengstrom/fast-style-transfer

https://github.com/titu1994/Neural-Style-Transfer

 

公众号原文：https://mp.weixin.qq.com/s/l6QFzV9hpVEG2ZQxp0YFfA

更多内容可微信搜索公众号《Coder空间》或扫下方二维码关注

转载请与作者联系。