新一代图像AI ISP技术

新一代图像AI ISP技术
2021年12月29日消息，近日，华为海思发布了新一代的越影AI ISP，这是用于物联网智能终端的新一代智能图像处理引擎，突破传统 ISP 图像处理的极限，将业界画质标杆推向新的高度。在近日开幕的2021安博会上，华为海思也展示了新一代越影AI ISP的性能。
现在上海海思官方微信也带来了对于海思新一代 越影 AI ISP 技术的硬核指数的深度解读：
视觉产业过去十年发展，历经“看得见”与“看得清”，到当前“ 看得懂”的智能阶段。图像分辨率持续提升，图像效果不断优化。但是由于视觉感知的场景非常碎片化，在暗光、逆光、运动等场景下输出高质量图像仍然是行业公认的难题。
ISP是对图像传感器输入的原始数据进行图像处理的首个环节，既是“看得清”的重要保证，也是后续“看得懂”的直接输入，ISP输出图像质量决定着“看得懂”的天花板。ISP涵盖了数十种图像信号处理算法。为了适配各种不同的镜头和传感器，需要优化调整成百上千个参数，保证ISP兼备通用性和灵活性。同时ISP中众多模块的算法是相互影响的，算法协同需要大量调试工作。这是一个极其复杂的过程，也是一项极具挑战的任务。面对越来越高的场景复杂度，基于滤波等传统图像处理技术在暗光、宽动态等场景下，画质获得显著改进越来越困难。而且随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。
近年来，利用AI进行图像增强逐渐成为行业研究新热点并取得了显著的进展，尤其是利用AI对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果。而视觉行业的特点要求能够对高分辨率、高帧率的视频，应用AI进行实时调优，对算法、算力的要求更高，特别是要求在端侧算力环境下高效实现AI ISP功能，获得相比传统ISP更优的效果。