论文阅读：GamutMLP A Lightweight MLP for Color Loss Recovery

这篇文章是关于色彩恢复的一项工作，发表在 CVPR2023，其中之一的作者是 Michael S. Brown，这个老师是加拿大 York 大学的，也是 ISP 领域的大牛，现在好像也在三星研究院担任兼职，这个老师做了很多这种类似的工作，通过一些轻量模型，将一些数据转换过程中的变换关系进行拟合，然后再进行恢复，比如 RAW域 到 sRGB 域的转换，这篇文章是 wide RGB 到 sRGB 的转换

一般相机的 ISP 或者一些图像编辑软件，可以处理更为宽广的色域，也就是 wide-gamut，广色域基本涵盖了 90% 的可见光色彩空间，不过这些图像最终转换到标准色域 standard-RGB (sRGB) 的时候，由于标准色域空间 sRGB 只涵盖了 30% 的色彩空间，所以会有很多的截断及精度损失，这篇文章也是借助神经网络强大的隐式表达能力，这篇文章提出在进行色彩转换的时候，用一个轻量级的的 MLP 去记录转换时的截断像素值。这个 MLP 需要大概 2s 的时间训练，需要大概 23k 的存储空间，可以看到，这是一个类似在线拟合的过程，每转换一张图片，需要同步去训练一个 MLP 在线拟合这个色彩转换过程，然后后面需要再进行色彩恢复的时候，可以调用这个模型进行色彩恢复。

文章整体的思路还是比较直观简单的，可以分成两个阶段，第一个阶段是编码阶段，也就是从 wide gamut 到 standard gamut 的时候，需要同步训练一个 MLP; 第二个阶段可以认为是解码阶段，就是从 standard gamut 重新扩展成 wide gamut 的时候。

• 编码阶段

• 解码阶段

假设一张 wide gamut 的图像可以表示成 ${\mathbf{I}}_{PP}\in {\mathbb{R}}^{3\times N}$，转换后的 sRGB 图像为 ${\mathbf{I}}_{sRGB}$，整个转换过程可以表示为：

$${\mathbf{I}}_{sRGB}=g(\text{clip}(\mathbf{M}{\mathbf{I}}_{PP},min=0,max=1.0))\text{\hspace{1em}(1)}$$

$\mathbf{M}$ 是一个色彩转换矩阵，${\mathbf{I}}_{PP}$ 表示广色域的图像，clip 是一个截断操作，$g$ 表示 gamma 变换，可以看到，由于其中有一个 clip 的截断操作，所在这个变换是不可逆的，当从 sRGB 图像转换回 wide gamut 图像时，可以用下面的式子表示：

$${\mathbf{I}}_{ClipedPP}={\mathbf{M}}^{-1}{g}^{-1}({\mathbf{I}}_{sRGB})\text{\hspace{1em}(2)}$$

为了能从 ${\mathbf{I}}_{ClipedPP}$ 恢复得到真正的 ${\mathbf{I}}_{PP}$，文章提出用一个 MLP 网络来进行拟合。MLP 本身预测的是残差，整个恢复过程如下所示：

$${\hat{\mathbf{I}}}_{PP}(\mathbf{x})=f_{\theta }(\mathbf{x},{\mathbf{I}}_{ClipedPP}(\mathbf{x}))+{\mathbf{I}}_{ClipedPP}(\mathbf{x})\text{\hspace{1em}(3)}$$

其中，$f_{\theta }(\mathbf{x},{\mathbf{I}}_{ClipedPP}(\mathbf{x}))$ 就是 MLP 网络预测的残差，${\hat{\mathbf{I}}}_{PP}(\mathbf{x})$ 表示最终恢复的 wide gamut 的 RGB 值，网络的输入是一个五维的向量 $(x,y,R^{\prime },G^{\prime },B^{\prime })$ ，文章中用了一个编码函数，对每个维度进行了编码，编码函数如下所示：

$$\gamma (m)=(\sin (2^0\pi m),\cos (2^0\pi m),...,\sin (2^{K-1}\pi m),\cos (2^{K-1}\pi m))\text{\hspace{1em}(4)}$$

每个维度编码成一个 24 维的向量，5 个维度一共是 120 维的向量。最终的损失函数是一个 $L_2$ 的 loss

$${\mathcal{L}}_{gamut}=\sum _{\mathbf{x}}\Vert {\hat{\mathbf{I}}}_{PP}(\mathbf{x})-{\mathbf{I}}_{PP}(\mathbf{x})\Vert \text{\hspace{1em}(5)}$$

文章中也提到，训练的时候，不能只用 out-of-gamut 的像素值训练，out-of-gamut 和 in-gamut 都用上，模型拟合的效果最好，文章最后用了 20% 的 out-of-gamut 的像素，以及 2% 的 in-gamut 的像素，混合着训练。最后就是实验结果了。

这篇文章主要是为了解决色域转换时候的精度损失及截断问题，通过在线训练一个 MLP 网络，对转换过程进行拟合，文章整体的思路简单直观，效果从文章给的结果来看，比之前的一些方法要好。毕竟是每张图片都需要单独训练一个 MLP 网络，用效率换效果了。