视频拼接+AI/ML —— 多年来改变了格局_ai 多摄像头重叠区拼接

目录

1. 视频拼接的长期挑战是什么？

1.1. 具有低纹理的重叠区域

1.2. 宽基线与大型视差

2. AI/ Ml的视频拼接应用——新常态

2.1. 视频会议解决方案

挑战

新常态

 2.2. 360度/全景解决方案

挑战

新常态

3. AI功能与视频拼接的集成——优势

---

        自过去几年以来，视频拼接一直在我们身边，我们看到对拼接算法（图像拼接、视频拼接）的需求加速。如今，拼接算法显然与用户在日常生活中互动的产品有关，例如，通过移动摄像头创建全景、视频会议解决方案、创建360度/环绕视图、汽车辅助、监控视频的宽视场等。视频拼接是运行技术生态系统的最古老和广泛使用的算法之一，但你知道人工智能和机器学习（AI/ML）对上述技术有着深刻的影响吗？AI/ML的进步为视频拼接及其应用提供了一个全新的维度。让我们了解视频拼接多年来是如何发展的，开发者面临的主要挑战，以及视频拼接在利用最新人工智能技术应用方面的各个方面。

1. 视频拼接的长期挑战是什么？

        在本节中，我想从我的经验中分享开发人员在实现视频拼接时面临的一些挑战。

1.1. 具有低纹理的重叠区域

        需要拼接的图像中出现低纹理重叠区域是视频拼接的主要挑战之一。这导致了不准确的结果，我们无法获得重叠区域的精确匹配。

1.2. 宽基线与大型视差

        尽管使用了专业技术，但人们倾向于使用自己的便携式设备（如手机或数码相机）以非常随意的方式捕捉实际图像，这会导致一些不均衡的失真，从而导致宽基线和大视差等问题。

        在我看来，视频拼接的标准方法仅适用于标准数据集，即自然基线，很少或没有视差。然而，上述问题通常导致图像中的模糊和重影，图像的不准确变换。

        对于所有面临这些棘手问题的开发人员来说，AI/ML已经成为一盏指路明灯。机器学习、深度学习、人工智能等创新技术为此类问题的解决创造了机遇。其中，AI / ML对视频拼接的性能和质量起着至关重要的作用，以避免重叠区域。基于AI / ML的视频拼接算法基于所有摄像机的共同视角，降低了硬件的负载，而视频特征的调整有助于在单个屏幕上提供非常准确和超现实的多个广角视图体验。它提供了一个平滑而准确的过渡，人们无法区分缝合线上的视图之间的差异。

2. AI/ Ml的视频拼接应用——新常态

        让我们来了解一下Video Stitching + AI / ML对一些知名应用的影响。

2.1. 视频会议解决方案

        电信行业的指数级增长和移动网络5G功能的出现加速了视频流功能和选项。因此，为了获得无缝的用户体验，将多个视图拼接成全景，4K和8K视频流选项正成为主流。高分辨率流媒体选项增加了对高分辨率拼接图像的需求，这直接影响了比特率，使用人工智能可以缓解这一问题。集成AI的视频会议解决方案也有助于节省比特率，并在特定分辨率下保持相同的质量。

         使用传统的方法进行视频拼接会增加图像中变换不准确和模糊的可能性。这就是视频拼接和会议解决方案已经落后于仅使用图像处理和视频分析算法的传统方法的原因。目前，保持最佳的拼接性能是一个主要的关注点，可以通过集成一些最新的和创新的技术(如人工智能和机器学习)的后处理算法来实现。下面我们来讨论视频会议解决方案中视频拼接所面临的挑战以及我们如何克服这些挑战。

挑战

1. 沿拼接线方向的视图偏差。
2. 由于视频分辨率提高到5.7 k，对硬件性能的影响在2020年及以后慢慢成为主流。
3. 增加其他可以并行工作在拼接输出上的AI / ML用例的使用会影响这些用例的准确性。
4.  沿着感兴趣的物体在2个视图之间划分的线的准确性使用AI/MI算法and进行准确的物体/人员检测的拼接质量。

新常态

1.  使用AI / ML算法去帮助拼接，只需要从所有相机中获得必要的视图，就可以在一定程度上消除性能影响。
2. 使用AI的视频拼接算法可以生成精确的单幅拼接输出图像，并且沿拼接线没有任何异常的分界线。
3. 在视频会议中使用AI / ML有助于覆盖更多的感兴趣区域( Region of Interest，ROI )，这带来了更高分辨率的图像/视频的使用，从而改善了在单个大屏幕上覆盖大范围的视角。

 2.2. 360度/全景解决方案

         慢慢地，在世界各地，所有出售的车辆都是用环视相机制造的，因为它们提供的安全，特别是在大型卡车和商用车辆中。视频拼接还有助于交通管理和维护安全驾驶标准，以更好地保护车内所有驾乘人员的安全。这基本上是一个四相机的解决方案，有助于生成车辆周围的360度全景视图，减少盲区，以维护安全驾驶。

        随着车辆尺寸的增加，例如拖车或大篷车，使用的相机数量也随之增加，这就需要使用基于AI / ML的拼接来覆盖车辆周围的全部区域。AI / ML等创新技术也提高了拼接算法的性能和准确性，有助于在生命攸关的场景中检测车辆周围的障碍物，并取得了有效的结果。

挑战

1. 360度和全景的解决方案一直被部署的相机数量所占据。随着摄像机数量的增加，拼接线也随之增加，增加了负面的用户体验。
2. 用于全景图的高分辨率图像/视频往往会带来很高的内存带宽需求。
3. 如果不使用AI / ML，360度视图将使我们进入使用高端CPU和GPU进行拼接的领域。

新常态

1.  在视频拼接中使用AI / ML算法有助于减少拼接线上的错位，从而提高全景/ 360度视频的质量。
2. 为了去除大量的数据带宽需求，AI / ML有助于去除多个相机所有视图中的冗余部分。
3. AI算法有助于降低硬件（CPU和GPU）方面的马力要求，这也有助于在低端硬件上执行全景和360视图。

3. AI功能与视频拼接的集成——优势

•  性能降低对CPU和GPU的影响
• 数据消耗或对内存带宽的压力更小
• 更真实的用户体验，可以准确地表示不同摄像头的所有视图
• 在安全、人群控制和物体/人跟踪方面获得更精确的监控体验

        最近，视频拼接在确保广阔的空间方面获得了相当大的优势，比如体育场里的板球比赛，它可以帮助覆盖体育场内部署的1000多个摄像头的所有视图。这极大地改善了用户体验，并有助于更多地关注安全方面，因为你可以在一个大屏幕上看到多个视图，比如缝合在一起的楼梯。

参考文献：Video Stitching + AI/ML - Changing Landscape over the years