视频质量评价基础与实践

 点击上方“LiveVideoStack”关注我们

▲扫描图中二维码或点击阅读原文▲

了解音视频技术大会更多信息

编者按：视频质量评价作为近些年学6领域比较热门的基础研究，已经逐渐在各种业务场景上落地。本次公开课我们邀请到了SSIMWAVE联合创始人与首席研究员，曾凯老师，为大家详细介绍视频质量评价的基础概念和相关算法，并以端到端的视频质量监控系统为例，讲解了质量评价解决方案在实际落地中的应用和收益。

文/曾凯

整理/LiveVideoStack

大家好，我是曾凯，2020年曾经跟大家分享了一些关于质量评价的理解和之前创办SSIMWAVE的旅程。两年过后我们有了一些新的认知，所以今天从技术和产品层面再和大家分享一些我们最新的感受。

我是2009年到加拿大滑铁卢大学攻读博士学位的。2013年博士毕业以后，我们把关于视频质量评价或者图像质量评价的研究成果进行商业化。我个人在这个方向研究也有十几年了，其实在西安电子科技大学读硕士时就一直在这个方向上深耕。2013年时，我们觉得这是一个非常有用的方向。当时我们已经跟业界的一些大公司，像Facebook、Apple等有过一些接触，看到很多技术部门都对这方面感兴趣，而且我们也觉得它有商业化的价值，所以当时就跟我的博士生导师和另外一个博士同学一起创建了SSIMWAVE，到现在已经将近10年了。可以说我们比起步时成功了一些，现在也获取了几十个大客户。目前的商业模式主要是ToB，我们的客户主要还是广电、OTT或者流媒体公司，而我们的核心价值还是质量评价算法。

来自客户的直接反馈：质量评价算法是我们能提供而别人提供不了的。而算法的核心价值就是可以为他们节省时间，除了节省人力，更多的还是提高工作效率。在算法的基础上，我们把它转化成一个实用的技术，然后打磨成一个产品，从而打包成一个质量监控的解决方案推送给客户。一开始，客户最感兴趣的是视频直播的质量监控，因为直播对质量是非常敏感的，很多东西出错就是错了，没办法回来纠正的。针对客户当时的痛点，我们希望做到有问题的直播流在到达最终消费者之前，客户就知道存在问题，从而能够及时甚至是自动地纠正。所以一开始我们主要做直播的产品，这就要求我们产品不仅能实时监控视频流，而且能覆盖成千上万个channel。再这之后，我们将产品扩展成适用于点播业务，而且做成基于云的SAAS的服务，现在我们在完善，不光是产品的多样化（支持点播、直播），还要在这个基础上支持视频分析。然后提供一些Video Analytics。在客户层面，我们也是尽可能的多样化。因为主要的客户还是广电，主要还是欧美市场，客户数量还是有限的，所以我们从大客户也慢慢开始往中小客户上扩展，让我们的客户基础变大且多样化。

说到公司的名字，SSIMWAVE中的SSIM其实就是就是结构相似度（Structure SIMilarity）的简称。当时，我们觉得公司的名字至少应该包含这部分，后面的话，因为我们是做流媒体，也想过SSIMSTREAM、SSIMFLOW，最后觉得SSIMEWAVE会比较酷一些。然后就这样命名了，而且这个的确还管用，特别是我们出去参加一些会展的时候，很多人一看SSIM大概就知道SSIMWAVE，因为SSIM本身其实已经很有名了，所以还是会有一些帮助。

今天我要分享的是质量评价的基础和实践。主要从三个方面来介绍：一是质量评价的基本概念，因为并不是所有人都很明白质量评价到底是怎么一回事。然后第二部分是质量评价现有的一些算法和比较流行的做法。第三个部分是我们监控的实践，这块儿会谈及我们在与客户接触过程中，客户在使用方面的反馈。最后是一个简单的总结。

01 视频质量评价介绍

我们先说，什么是视频质量评价。

视频质量评价就是我们用人眼给视频的质量打一个分，这个分数不管是五分制也好，百分制也好，我们是希望能够有一个客观量化的算法或者一个分数能够告诉我们视频看起来是更好，还是更差了。所以这里其实也有一些比较复杂的概念，比如我们怎么去定义质量？因为人去看视频的时候觉得它更好或者更差的话，我们是有自己的感觉，但是你要想用一种数学模型或者计算公式去量化它，这本身是比较复杂的，因为它的主观性太强了。质量可能包括清晰度，清晰度怎么用公式算也是一个问题，然后质量还包括色彩的丰富程度、对比度等等。现在任何一个显示器都支持用户调整各个模式，但是它并没有一个按钮能一按质量就变好了，这其实也是因为我们没有一个东西能调整一次就让所有人都认为它的质量会变得更好。

质量评价的研究方向一般分为主观质量评价和客观质量评价。所谓的主观质量评价就是为了收集主观分数，它的任务就是我们研究怎么样去做主观实验能让我们收集到的主观分数又准而且实验的效率又高。主观分数其实就是视频质量分数。我们做个主观实验，邀请一些人，像右下角这张图一样邀请他坐在一个可控的环境里，不管是办公室的环境，还是电影院，还是根据实际的算法应用设计的场景。我们就让他坐在那而且让他很放松地正常地去观看一段视频，然后告诉我他给视频打的分数能有多高或者多低，而这个视频肯定是我们特意去准备的。所以我们可以想到，这个主观实验其实是一个非常耗时、耗力的事情，而且它很难大规模执行，比如我们每天去看成百上千个视频，这个是不现实的。所以主观评价往往只在一些特定的情况下用，但是我们做研究的时候，它又非做不可。因为实际上，它是质量的基准，而它收集到的分数被称为Golden Score。因为我们要想研究或开发客观算法的话，这个Golden Score必不可少。实际上，算法输出的分数就是为了逼近主观分数。所以主观分数就是我们所谓的Ground Truth，如果没有它，我们设计的客观算法是没有办法衡量它的性能的。

我们接触的现有客户过程中，其实很多客户用了我们的算法来真正地替换他们之前的主观实验。我举个例子来说，比如我们有一个客户是加拿大视频运营商叫Rogers，视频设备升级换代的时候，它们有些大动作的话，本身在实验室里面他们就一定要做大规模的主观质量评价，就是因为比如它们要换一个新的视频编码器或者转码器，因为他们的客户基数大，那这个编码器的影响范围很广，所以他们会在真正上马这个新的编转码器时，在它们实验室里看这个转码器的性能。然后他真正会去邀请比如100个人来给新的转码器和老的转码器转码出来的视频打分，看看质量是不是真的变好。我们在攻克这个客户时，他们也做了相应的主观实验，而且他们把SSIMWAVE的算法生成的客观分数跟他们主观实验的分数做对比，他们觉得准确率是足够高的，所以他们才愿意用SSIMWAVE的产品。

客观质量评价其实是研究更多的方向，因为我们本身做质量评价最终的目的还是希望开发一套软件用它代替人的主观打分，能全自动化、省时、省力，准确地预测主观质量分数，那它就是比较好的算法。但是准确率的提升很多时候是比较困难的，有很多方面的因素影响。

质量评价本身的价值：一方面是我们可以用算法代替人脑，可以提高我们的生产效率。因为不管什么时候