赞
踩
技术要点:图像处理 计算机视觉 深度学习 多媒体前端
随着短视频热潮的兴起,越来越多的人投入精力到了视频剪辑视频制作之中。然而利用现有的视频剪辑工具,剪辑一段视频是非常麻烦的,尤其是视频剪辑前期阶段,查找素材、导入、粗剪辑,视频中庞大的内容资源难以检索,素材分散,查找难度大,重复性工作耗时费力,导致一系列问题,例如:降低了内容的精准度;增加了时间和人工成本;长视频资源堆积,导致很多优质内容埋没失去价值。尤其是针对缺乏专业人士助力的中小企业品宣部、个人视频剪辑爱好者,站在创作者的角度来看,重复、机械化作业过程居多,导致工作效率低下是其最大痛点。
而AI技术在视频剪辑领域的落地应用,将大大节省人力、提高效率。我们团队意图打造一款背靠AI技术快速生产视频的“智能剪辑”应用。通过对视频深度理解,智能提取高能片段,基于内容自动混剪,节约大量人力成本,提高短视频制作效率和原有视频利用价值。
目前已存在一些长视频主要内容缩减成片段组成短视频的相关工作,主要分为两大类别:
第一种是直接提取视频中的关键帧合成新的视频,该方法虽然也可以缩短视频的时长,但是合成后视频给人一种快进看电影的感觉,而且实际使用较少,所用的方法包括SEDIM,SEDIM-IN,CEA,TEA等方法
第二种称为视频浓缩,是对视频内容的一个简单概括,以自动或半自动的方式,先通过运动目标分析,提取运动目标,然后对各个目标的运动轨迹进行分析,将不同的目标拼接到一个共同的背景场景中,并将它们以某种方式进行组合。
然而目前的工作仍未涉及之后的视频片段关系网络建立这一阶段。而我们希望达到的目标就是在利用算法获取关键gif片段后,可以建立起这些gif片段之间的关系网络。这样在用户截取新的一帧后,可以快速检索到其相关的所有视频片段,提供给用户完成粗剪辑过程。
1)基于场景对视频进行划分
首先我们希望将视频根据场景的特点划分成不同的片段,这样最终返回给用户的结果,是包含各个转场的关键视频片段,而非盲目地将剪辑出全部片段。关于进行划分的算法我们进行了初步的调研,预计主要借鉴论文” A Local-to-Global Approach to Multi-modal Movie Scene Segmentation”(Rao, A. , et al. IEEE 2020)。其基本思想是通过三个阶段执行场景分割:首先从多个效果中提取镜头表示,而后根据集成信息进行局部预测,最后通过解决全局优化问题优化镜头分组。这部分算法今后还会继续调研实验,以达到最优的效果。
2)利用视频摘要算法获取关键帧
在前一步已经划分出视频的不同场景片段后,下一步的主要工作就是提炼出每一片段的关键内容,需要运用到视频摘要算法。视频摘要技术在不同视频对象中的研究分为三大类:基于结构化视频的传统视频摘要技术、监控视频摘要技术、面向用户视频或第一人称视角视频的视频摘要技术。生成视频摘要的主要流程分为三步:视频预处理、帧特征提取、关键帧提取。
3)以关键帧为中心前后扩张得到视频片段
通过上一层视频摘要算法寻找到的关键帧,可以此关键帧为中心分别向左和右拓展一定时间,划分的区域组合为新的gif片段以供下层算法使用。同时可以做镜头检测的拓展来寻找该关键帧所在的转场镜头,防止影片过短导致关键帧前后简单的拓展会导致超出镜头边缘。传统的镜头边界检测方法是基于直方图差异或帧差值进行边缘检测。可以尝试结合两种方法快速找出镜头边缘的研究。
4)视频片段关系网络建立
项目初步预期首先完成人物识别任务:需要建立一个人脸库,以人脸的特征信息为索引,建立关于人物的关系。首先遍历分割出的所有GIF,对每个GIF进行人脸检测和人脸匹配,每检测到一张人脸,检查其在人脸库中是否已经存在,如果不存在,建立一个新的关系并把该GIF片段放入到这个关系中,如果已经存在,将GIF直接放入这张人脸的关系中。选中截图中某个人物后,进行特征提取,与人脸库中的人脸进行相似度检测,得到与该任务相关的所有GIF片段。
主要物品以及场景的识别工作根据后续项目开展情况选择性进行。
前端界面编写及后台联调
基于场景的视频划分算法研究编程
视频摘要算法研究编程
关键帧前后扩张算法研究编程
视频片段关系图建立算法研究编程
成员个人博客地址:
方新悦 https://blog.csdn.net/fangjiayou?spm=1001.2014.3001.5343
刘凯 https://blog.csdn.net/weixin_46639190?spm=1001.2100.3001.5343
王月群 https://blog.csdn.net/May121812345?spm=1001.2100.3001.5343
李文文https://blog.csdn.net/weixin_46449172?spm=1001.2100.3001.5343
孙一凡 https://blog.csdn.net/Dream_Glow?spm=1001.2101.3001.5343
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。