【seeprettyface.com】开源源码：Video-Auto-Wipe_字幕去除模型

Video-Auto-Wipe

Github地址：https://github.com/a312863063/Video-Auto-Wipe
算法原理解读：http://www.seeprettyface.com/research_notes_page3.html

---

  本人不定期的基于生成技术制作一些好玩有趣的算法模型，这次带来的作品是“视频擦除”方向相关的内容，具体来说模型可以自动感知到视频中您不想看见的内容并进行擦除，我目前制作了图标的擦除和字幕的擦除两种模型，后续会有更多衍伸的作品放出来。

  由于模型全制作流程均为独立完成，耗费了一定的精力和资源。另外，本人本着方便百姓生活、提升工作效率的初衷去制作技术，请您务必合法合规的使用模型，本人对于您的使用所造成的后果概不负责。详细获得方式请见# 获取方式。

  模型版权所有为：www.seeprettyface.com 。相关的算法原理介绍请参阅我的研究笔记。

效果预览

  视频运行效果请查阅本项目资源文件，下边展示视频截图。

1 图标擦除

  图标擦除模型的运行原理是模型首先进行时域上的静态像素块感知（即在时域上静止不动的像素区域被视作图标），然后利用生成技术进行填补擦除（可理解为无痕的“打码”技术）。

1.1 电视剧的台标、剧名和角标擦除

  

查看视频

1.2 足球赛的台标、状态栏擦除

  

查看视频

1.3 综艺节目的台标、状态栏擦除

  

查看视频

1.4 短视频MV的遮挡图标擦除

  

查看视频

1.5 短视频MV的遮挡水印擦除

  

查看视频

1.6 新闻媒体的台标擦除

  

查看视频

2 动态图标擦除

  动态图标擦除模型的运行原理是模型首先进行时域上的动态图标块感知（即在时域上突兀出现的像素区域被视作动态图标），然后利用生成技术进行填补擦除。

2.1 闪烁出现的特效文字擦除

  

  

查看视频

3 字幕擦除

  字幕擦除模型的运行原理是模型首先进行时域上的字幕块感知（即在时域上样式统一的文字区域被视作字幕），然后利用生成技术进行填补擦除。

3.1 电影字幕擦除

  

查看视频

3.3 电视剧字幕擦除

  

查看视频

3.3 综艺节目字幕擦除

  

查看视频

3.4 综艺节目特殊字幕擦除

  

查看视频

3.5 网络视频字幕擦除

  

查看视频

4 敏感内容擦除（暂时未做）

  “敏感内容”包括不和谐内容（譬如涉及色情、暴力等视频内容）和不期望内容（譬如广告等），模型可实现自动感知“敏感内容”的位置并将其擦除。

5 人物擦除（暂时未做）

  人物擦除可分为全人物擦除（譬如去除背景人）和指定人物擦除（譬如去除非期望的露脸人）两种，模型可实现感知“人物”的位置并将其擦除。

6 细分内容擦除（暂时未做）

  视频擦除可以细分出的行业门类非常多，譬如自动驾驶、医疗成像、建筑绘制等等，只要是包含有像素遮挡的场景+有像素预测的需求，都可以考虑引入视频/图像擦除技术予以实现。

获取方式

  详见Github：https://github.com/a312863063/Video-Auto-Wipe

训练方法

训练数据

  1. YoutubeVOS2018数据集；

  2. 基于搜集的电影资源制作的2,709部电影片段；

  2. 基于搜集的综艺资源制作的864部综艺片段；

  4. 基于搜集的180,000余张图标图像制作的36,000余张图标素材；

算法模型

  基于STTN的改良，抹除掉mask部分，同时3D-CNN专门进行时域感知训练。

训练配置及时长

  1. 字幕擦除模型在单张2080Ti显卡上训练4天；

  2. 图标擦除模型在单张3090显卡上训练6天；

使用方法

配置环境

  torch>=1.0

  其他的缺啥依赖就 pip install xxx 即可，需要装的东西不多。

运行

  视频文件放在input里边，擦除区域放在input/mask/xx.png，然后运行python demo.py。

了解更多好玩的生成算法：进入www.seeprettyface.com