【论文研读】基于卷积神经网络的图像局部风格迁移

简介

自2015年Gatys首次提出神经艺术风格迁移框架以来，图像风格迁移逐渐成为计算机图形学和计算机视觉领域的一个研究热点，但是当前针对图像风格迁移的研究大多难以提取图像中的局部进行风格迁移，而将重心放在图像全局风格迁移上，针对局部风格迁移这一研究领域上的空白，浙江工业大学缪永伟与浙江理工大学、中科院自动化研究所合作发表了《基于卷积神经网络的图像局部风格迁移》一文。
文中提出了一种基于卷积神经网络的图像局部风格迁移框架，根据输入的内容图和风格图利用图像风格迁移网络生成全局风格迁移图，再利用语义分割生成掩码区分图像的前景区域和背景区域，最后利用掩码图确定风格迁移区域并融合未迁移区域得到图像局部风格迁移结果。

针对输入原图，利用全连接神经网络FCN和条件随机场CRF结合构成图像语义分割网络，分割输入的内容图得到还有语义标签的语义分割图，此时依据风格图标签对语义分割图进行二值化得到掩码图，掩码图中仅含有值为0或为1的像素点，为0的像素点对应于风格迁移中不进行风格化的像素。
为了优化生成的风格图，文章还采用了Johnson等人提出的快速风格迁移网络结构，将一个生成图问题转换成了一个转换图问题。
为了减少网络训练计算量、增大接收场大小，风格迁移结果不再是从初始化为白噪点的图像经过网络迭代生成（Gatys等人使用该方法）而是经过前馈图像转换网络快速生成。
通过上述方法可以成功得到局部风格迁移图像，但是生成的结果图前景区域与背景区域接壤边缘部分却出现了风格化现象，边缘部分杂乱且不清晰，有时还会出现边界不规则扩大或缩小等问题，不符合用户预期，仍需对边缘部分进行平滑优化。

为了使局部风格迁移后的风格迁移区域像素能够平滑地融合到原始图像未被风格迁移的区域中，需要对语义分割得到的图像前景进行边缘优化处理，文章的改进思路是在图像语义分割掩码边缘处定义一个边界窄带，将窄带外的像素点标签固定为图像语义风格结果分配到的标签，为此引入了曼哈顿距离，将曼哈顿距离应用到图像分割后的二值掩码图中，利用动态规划算法求解曼哈顿距离图（细节部分请查看论文原文）。

上图所示给出了基于曼哈顿距离进行平滑优化融合后的局部风格风格迁移效果与朴素局部风格迁移效果对比图，可以看到经过曼哈顿距离平滑后局部风格迁移效果更好，没有出现明显的分割痕迹。

文中提到，以前的风格迁移算法大多针对图像进行全局风格迁移，图像中的文字元素也会进行风格化，而风格化后的文字往往难以辨认（如上图c、d所示），而应用本文的局部风格迁移方法可以指定图像中进行风格化的像素，有效避免了文字元素的风格化问题。
本文提出的局部风格迁移框架目前是风格迁移领域一种新兴算法，不过该算法框架仍然可以继续深入探索诸如如何应用到视频中进行局部风格迁移；如何克服由于视频中位置、光线、视角等变化引起的闪烁和抖动问题等研究课题。
在此，感谢本文论文作者做出的科研贡献。

往后我也会继续分享图形学领域优质学习资源，微信搜索图形学研习社关注我，第一时间获取更新！