NeRF常用评价指标:PSNR、SSIM、LPIPS详解_ssim lpips

在b站看了up主：意の茗 的讲解视频，也查阅了LPIPS文献原文，做了如下笔记总结。
视频链接

PSNR 峰值信噪比

Peak signal to noise ratio

• 衡量了一张噪声图像和一张干净图像的差异
  峰值信噪比涉及到均方误差MSE：
  $MSE=\frac{1}{mn}{\sum }_{i=0}^{m-1}{\sum }_{j=0}^{n-1}[I(i,j)-K(i,j){]}^2$
  其中I指干净图像，K指噪声图像，i,j指像素坐标，图像尺寸大小为m*n
  然后，有
  $PSNR=10\cdot {\log }_{10}(\frac{MA{X}_I^2}{MSE})$
  其中，MAX是动态范围的最大值，即某点(i,j)像素范围的最大值，如果图象是8位的，则这个值为$2^8-1=255$。
  两张图象的差异越小，MSE越小, PSNR就越大，图像质量越好。

SSIM 结构相似性

Structural Similarity Index Measure

• 衡量了两张图片之间的相似程度/衡量图片的失真程度
  比如下面这一组图片，当MSE相同时，不同的SSIM图片展现的效果是不一样的。
  

后续再补充

LPIPS 学习感知图像块相似度

Learned Perceptual Image Patch Similarity

2018CVPR：The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
项目主页
题目中所说的“Unreasonable Effectiveness”指在监督、自监督、无监督模型上得到的深度特征在模拟低层次感知相似性上都比以往广泛使用的方法(例如L2、SSIM等)的表现要好，而且适用于不同的网络结构(SqueezeNet、AlexNet、VGG)。

文章开头便附图表明了：广泛使用的L2/PSNR、SSIM、FSIM指标在判断图片的感知相似度时给出了与人类感知相违背的结论，而相比之下，基于学习的感知相似度度量要更符合人类的感知。

本文提出了一个新的人类感知相似性判断数据集，系统地评估不同结构和任务的深层特征并将其与传统的指标进行比较，最终发现深度特征要比以往的特征表现出色，而且这一结果在多种不同的结构和监督级别上都适用。

首先第一行用的Human人的直观感受，第二行是一些基于几何的相似度方法， 他们和人的感受相反。
这些几何评价指标对平滑的图像会失效，18年GAN很火，但是生成的图像过于平滑，所以需要解决平滑的图像的相似度评价的问题。后面作者发现用深度网络来比较图片，无论是无监督，自监督和有监督条件都能得到和人直觉相符合的结果都可以得到和人的直觉相同的结果。所以作者认为在深度特征层面进行比较更符合人类的感知。这篇文章提出的方法就是LPIPS.

计算流程，把需要对比的x和x0输入到网络F里面，这个F可以是简单的VGG网络或者是Alexnet,把每一层经过激活函数之后的输出都拿出来，normalize归一化，再经过w层给—个权重，求两个网络各层特征向量之间的L2误差，最后对所有层的误差取平均，得到相似度d0,图像相似度越低，深度特征之间的差异越大，d0 即LPIPS的输出结果就越大，所以LPIPS越小越好