漂亮！用深度学习实现全彩夜视系统

关注公众号，发现CV技术之美

本文转自机器之心

加州大学欧文分校的这项研究，让我们更期待未来更先进的彩色夜视仪。

在一些军事大片中，士兵头戴夜视仪搜索前进似乎是少不了的场景。使用红外光在黑夜中观察的夜视系统通常将视物渲染成单色图像。

图源：flir.com

不过，在最近的一项研究中，加州大学欧文分校的科学家们借助深度学习 AI 技术设计了一新方法，有了这种方法，红外视觉有助于在无光条件下看到场景中的可见颜色。

研究共同一作、加州大学欧文分校工程师、外科医生和视觉科学家 Andrew Browne 表示，「世界上很多地方都以人们赖以做出决策的方式进行颜色编码，比如信号灯。」

夜视系统是个特例。使用红外光照亮黑夜的夜视系统通常仅以绿色渲染场景，而无法显示出在正常光线下可见的颜色。一些较新的夜视系统使用超灵敏相机放大可见光，但这些相机几乎不能显示出漆黑环境中没有光可放大的颜色。

Andrew Browne

因此，在这项研究中，研究者推断，赋予物体可见光的每种染料和颜料不仅反射了一组可见波长，而且可能反射一组红外波长。那么，如果可以训练一个能够识别每种染料和颜料的红外指纹的夜视系统，则能够使用与每种染料和颜料相关的可见光来显示图像。

效果图

目前，相关论文已在期刊 PLOS ONE 上发表。

论文地址：https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0265185

这项研究是从不能感知的近红外照明中预测人类可见光谱场景的第一步。接下来的工作可以极大地促进各种应用，比如夜视系统和对可见光敏感的生物样本研究。

研究概述

人类可以感知 400-700nm 可见光谱中的光。一些夜视系统使用人类无法感知的红外光，将渲染后的图像转换到数字显示器上，最后在可见光谱中呈现单色图像。

研究者想要开发一种由优化深度学习架构驱动的成像算法，从而可以使用场景中的红外光谱光照来预测该场景中的可见光谱渲染，就好像人类使用可见光谱光感知它一样。当人类处于完全「黑暗」并只有红外光照射时，他们能够以数字方式渲染可见光谱场景。

图像处理目标。仅使用红外光照显示的图像与使用深度学习处理 NIR 数据后的可见光谱图像比较。

Andrew Browne 表示，「单色相机对它所看到的场景中反射的任何光子都很敏感。因此，我们使用可调光源将光照射到场景上，并使用单色相机捕捉在所有不同照明颜色下从该场景反射的光子。」

为此，研究者采用了一个对可见光和近红外光敏感的单色相机，在覆盖标准可见红光（604nm）、绿光（529nm）和蓝光（447nm）以及红外波长（718、777 和 807 nm）的多光谱照明下采集面部打印图像的图像数据集。接着，他们对具有类 U-Net 架构的卷积神经网络进行优化，以仅从近红外图像中预测可见光谱图像。

人脸肖像库中的示例图像。

接着，研究者将三张红外图像与彩色图像配对，以训练一个人工智能神经网络来对场景中的颜色进行预测。在经过训练并提升性能之后，该神经网络能够从三张看起来非常接近真实物体的红外线图像中重建彩色图像。下图左为用可见光谱的真彩色，图右为深度学习算法加持下的彩色。

Andrew Browne 说到，「当我们增加红外通道或红外颜色数量时，它会提供更多数据，我们也能更好地预测实际看起来非常接近真实图像的应是什么。我们在这项研究中提出的方法可以用来获取三种不同红外颜色的图像，这三种颜色人眼无法看到。」

不过，研究者只在打印的彩色照片上测试了他们的算法和技术。他们正在寻求将这些算法和技术应用于视频，并最终应用于真实世界的物体和人类主体。

参考链接：

https://spectrum.ieee.org/night-vision-infrared

https://www.popsci.com/technology/ai-infrared-night-vision-in-color/

END,入群