论文笔记：Color Balance and Fusion for Underwater Image Enhancement（论文及源代码下载链接+公式分析+论文实验MATLAP代码分析）_uciqe

    ,                               (4)                 

颜色校正/

Color correcting

function ret = redCompensate( im, w )

a = 1;

r = im2double(im(:,:,1));

g = im2double(im(:,:,2));

b = im2double(im(:,:,3));

%将unite8类型转换为im2double类型。

ret = im;

for i = 1:height

    for j = 1:width

        slider = padr(i:i+w-1,j:j+w-1);？

        slideg = padg(i:i+w-1,j:j+w-1);

        r_mean = mean(mean(slider));%求数组的平均数或者均值

        g_mean = mean(mean(slideg));

公式（4）

Irc = r(i,j) + a * (g_mean - r_mean) * (1-r(i,j)) * g(i,j);

Irc = uint8(Irc * 255);

        ret(i, j, 1) = Irc;

    end

end

end

公式（5）蓝色通道补偿同理，当原始退化图像红色通道/蓝色衰减强烈时，进行红色/蓝色通道的色彩补偿，属于对图像进行颜色校正的一种方法。

论文中未提到此模块的公式。

% 对图像进行灰度世界白平衡处理

[43] G. Buchsbaum, “A spatial processor model for object colour perception,”

J. Franklin Inst., vol. 310, no. 1, pp. 1–26, Jul. 1980.

Gray Word.

function  output = simple_color_balance(image)

num = 255;

r = image(:, :, 1);

g = image(:, :, 2);

b = image(:, :, 3);

Ravg = mean(mean(r));

Gavg = mean(mean(g));

Bavg = mean(mean(b));

Max = max([Ravg, Gavg, Bavg]);

ratio = [Max / Ravg, Max / Gavg, Max / Bavg];

satLevel =  0.005 * ratio;

[m,n,p] = size(image);

imgRGB_orig = zeros(p, m*n);

for i = 1 : p

   imgRGB_orig(i, : ) = reshape(double(image(:, :, i)), [1, m * n]);

end

imRGB = zeros(size(imgRGB_orig));

%在灰度世界的基础上？

%直方图对比度调整

%结果图

for ch = 1 : p

    q = [satLevel(ch), 1 - satLevel(ch)];

    tiles = quantile(imgRGB_orig(ch, :), q);

    temp = imgRGB_orig(ch, :);

    temp(find(temp < tiles(1))) = tiles(1);

    temp(find(temp > tiles(2))) = tiles(2);

    imRGB(ch, :) = temp;

    pmin = min(imRGB(ch, :));

    pmax = max(imRGB(ch, :));

% fac(A) = Amin + (A - Alow) * (Amax -Amin)/(Ahigh - Alow)

% 对于8bit图像，Amin = 0，Amax = 255

    imRGB(ch, :)  = (imRGB(ch, :) - pmin) * num /(pmax - pmin);

end

output = zeros(size(image));

for i = 1 : p

        output(:, :, i) = reshape(imRGB(i, :), [m, n]);

end

论文中未写此公式。

function [ result ] = gammaCorrection(image, a, gamma)

image = im2double(image);

result = a * (image .^ gamma);

end

论文中设置伽马值为1.2，下拱使图像整体变暗，扩展更多暗部细节。非线性拉伸。

在unshap masking基础上：

w h e r e I is the image to sharpen (in our case the white balanced image), G ∗ I denotes

the Gaussian filtered version of I, a n d β is a parameter.

此参数需要调整，新公式（6），不需要调参数。Nomalized unsharp masking:                                  (6)

 通过归一化算子自动获得参数。

with N {.} denoting the linear normalization operator, also named histogram stretching in the literature.

归一化算子/直方图拉伸

输入图像

高斯滤波处理

直方图拉伸

function [ result ] = sharp(image)

image = im2double(image);%转换图像/数据 类型

GaussKernel = fspecial(‘gaussian’, 5, 3);%定制了一个高斯滤波器GaussKernel，该滤波器的大小为5*5，标准差是3，

%标准差越大处理图像会更加模糊

imBlur = imfilter(image,GaussKernel);%进行滤波处理，滤波器为定义的个高斯滤波器GaussKernel ①

unSharpMask = image – imBlur;%②

stretchIm = hisStretching(unSharpMask);%直方图拉伸（归一化）matlap自带③

result = (image + stretchIm)/2;%④

end

1.calculate weight

double(lab1(:, :, 1)/255)将亮度通道中的像素值归一化到0到1之间，并将其转换为double类型。这里的目的是为了后续的计算方便，因为double类型可以存储更高的精度和更大的数值范围。

这行代码实现了将RGB图像转换为LAB颜色空间，并将亮度通道的像素值赋值给变量R1，R2以便进行后续的图像处理。

lab1 = rgb_to_lab(input1);%图像格式由RGB转化为LAB，Lab有更宽的色域，调整L/明度/亮度/通道时，

lab2 = rgb_to_lab(input2);%色相不会改变。a,b通道控制色彩。

R1 = double(lab1(:, :, 1)/255);

R2 = double(lab2(:, :, 1)/255);

 Laplacian contrast weight

imfilter(R1, fspecial('Laplacian'), 'replicate', 'conv')

使用该模板对输入图像R1进行滤波，其中'replicate'表示使用边缘像素进行边缘扩展，'conv'表示使用卷积操作进行滤波。

abs() 函数用于获取滤波结果的绝对值，这是因为Laplacian滤波器产生了正负两种极性的响应，我们只需要对边缘的强度进行测量，因此取绝对值。

最后，将滤波结果赋值给变量WL1。

因此，这行代码实现了对输入图像R1进行Laplacian滤波，得到边缘图像WL1。

WL1 = abs(imfilter(R1, fspecial('Laplacian'), 'replicate', 'conv'));

WL2 = abs(imfilter(R2, fspecial('Laplacian'), 'replicate', 'conv')); % abs函数求绝对值

2.Saliency weight（显著性权重）%采用了Achantay等人的显著性估计器

%旨在强调在水下场景中失去其突出性的突出物体。

WS1 = saliency_detection(input1);

WS2 = saliency_detection(input2);

在MATLAB中，imfilter函数用于对图像进行滤波操作。它接受三个主要参数：输入图像 img、滤波器核 fspecial('gaussian', 3, 3) 和滤波方式 'symmetric'。

fspecial('gaussian', 3, 3) 创建了一个3x3的高斯滤波器核。这个核是一个二维的高斯函数，用于模糊图像以减少噪声和细节。

'symmetric' 是指在滤波时处理图像边界的方式。对于边界像素，使用对称扩展的方式来处理，即用图像中对称位置的像素值来填充边界像素，以保持图像大小不变。

最后，imfilter函数将输入图像 img 和滤波器核进行卷积操作，得到滤波后的输出图像 gfrgb。该图像是对原始图像进行了高斯滤波处理后的结果。

高斯滤波是一种常用的图像滤波方法，它可以平滑图像、去除噪声和细节，使图像变得更加模糊。

function sm = saliency_detection(img)

gfrgb = imfilter(img, fspecial('gaussian', 3, 3), 'symmetric', 'conv');

cform=makecform('srgb2lab','AdaptedWhitePoint',whitepoint('d65'));

lab = applycform(gfrgb,cform);

l = double(lab(:,:,1)); lm = mean(mean(l));

a = double(lab(:,:,2)); am = mean(mean(a));

b = double(lab(:,:,3)); bm = mean(mean(b));

sm = (l-lm).^2 + (a-am).^2 + (b-bm).^2;

end

由以上代码可以猜测一下，显著性估计器的公式：

cform = makecform('srgb2lab', 'AdaptedWhitePoint', whitepoint('d65'));

这段代码创建了一个颜色转换结构体 `cform`，用于将图像从sRGB颜色空间转换到Lab颜色空间，并使用适应性白点 `whitepoint('d65')` 进行转换。

在MATLAB中，颜色转换函数 `makecform` 用于创建颜色转换结构体。它接受两个主要参数：源颜色空间和目标颜色空间。在这里，源颜色空间是sRGB，目标颜色空间是Lab。

`srgb2lab` 是指将sRGB颜色空间转换为Lab颜色空间的转换公式。sRGB是一种广泛使用的红绿蓝（RGB）颜色空间，而Lab是一种基于人类感知的颜色空间，用于表示颜色的亮度、色度和色调。

`'AdaptedWhitePoint', whitepoint('d65')` 部分是可选的参数，它指定了适应性白点为D65。白点是颜色空间中的一个参考点，用于表示不同光源的颜色特性。在这里，使用D65作为适应性白点，以匹配标准观察条件下的光源。

因此，该代码行的含义是创建一个颜色转换结构体 `cform`，用于将sRGB图像转换为Lab颜色空间，并使用适应性白点设置为D65进行转换。这种转换可以用于在Lab颜色空间中进行颜色分析和处理。

lab = applycform(gfrgb,cform);

将先前经过高斯滤波处理后的图像 gfrgb应用到颜色转换结构体 cform 上，进行从sRGB到Lab颜色空间的转换。

applycform 函数用于将颜色转换结构体应用到图像上。它接受两个参数：输入图像和颜色转换结构体。在这里，输入图像是经过高斯滤波处理后的图像 `gfrgb`，颜色转换结构体是先前创建的 `cform`。

3. Saturation weight（饱和权重）

使得融合算法能够通过高度饱和的区域优势来适应彩色信息.

WSat1 = Saturation_weight(input1);

WSat2 = Saturation_weight(input2);

unction Wsat = Saturation_weight(image)

[m, n, ~] = size(image);

lab = double(rgb_to_lab(image)/255);

for i = 1 : m

    for j = 1 : n

        Wsat(i,j) = (1/3 * ((image(i,j,1) - lab(i,j,1))^2 ...

                             +  (image(i,j,2) - lab(i,j,1))^2 ...

                             +  (image(i,j,3) - lab(i,j,1))^2) )^0.5;

    end

end

end

公式：

This weight map is simply computed (for each

input Ik) as the deviation (for every pixel location) between the Rk,Gk and Bk color channels and the luminance Lk of the k’s input：

以上三种权重图代码，最终输出6张权重图。每种各两张，分别是伽马矫正和锐化后的结果图。拉普拉斯的输入图是图像R1,R2最后是double类型的L通道像素值，

这张图片的处理效果，显著性权重图不如文中流程图那样明显，

（可能作者进行其他处理了？）

1.normalized weight map：

[W1, W2] = norm_weight(WL1, WS1, WSat1, WL2 , WS2, WSat2);

先经过一个normalized weight map,归一化权重图，将三种权重图（拉普拉斯/显著/饱和）计算到一起。

function [nw1, nw2] = norm_weight(w1, w2, w3, w4, w5, w6)

K = 2;

delta = 0.1;

nw1 = w1 + w2 + w3;

nw2 = w4 + w5 + w6;

w = nw1 + nw2;

nw1 = (nw1 + delta) ./ (w + K * delta);

nw2 = (nw2 + delta) ./ (w + K * delta);

end

W1,W2

这两张输出，进行拉普拉斯和高斯金字塔处理，多尺度融合

%% image fusion ♥

% R(x,y) = sum G{W} * L{I}

%.................................................%

level = 3;%设置金字塔为三层，

% weight gaussian pyramid(权重高斯金字塔)

Weight1 = gaussian_pyramid(W1, level);%输入的是归一化权重图.W1,W2

Weight2 = gaussian_pyramid(W2, level);

%是一个1*3的cell，

% image laplacian pyramid(图像拉普拉斯金字塔)

% input1

r1 = laplacian_pyramid(double(double(input1(:, :, 1))), level);

g1 = laplacian_pyramid(double(double(input1(:, :, 2))), level);

b1 = laplacian_pyramid(double(double(input1(:, :, 3))), level);

% input2

r2 = laplacian_pyramid(double(double(input2(:, :, 1))), level);

g2 = laplacian_pyramid(double(double(input2(:, :, 2))), level);

b2 = laplacian_pyramid(double(double(input2(:, :, 3))), level);

% fusion

for i = 1 : level

    R_r{i} = Weight1{i} .* r1{i} + Weight2{i} .* r2{i};

    G_g{i} = Weight1{i} .* g1{i} + Weight2{i} .* g2{i};

    B_b{i} = Weight1{i} .* b1{i} + Weight2{i} .* b2{i};

end

% pyramin reconstruct(重建）

R = pyramid_reconstruct(R_r);

G = pyramid_reconstruct(G_g);

B = pyramid_reconstruct(B_b);

fusion = cat(3, R,G,B); %连接三维矩阵

uciqe = UCIQE(fusion)%两个专为水下图像设计的评价指标。

uiqm = UIQM(fusion)

figure,imshow(fusion),xlabel('fusion image');

level：这是一个变量或参数，表示拉普拉斯金字塔的级别数量。它指定了金字塔的层数，也就是图像降采样的次数。

gaussian_pyramid，和laplacian_pyramid可以拿来直接用。

融合金字塔重建：

这段代码实现了金字塔的重建操作，将金字塔的每一层进行上采样并叠加，最终得到原始尺寸的图像。

下面是对代码的详细解释：

1. 函数定义：`function output = pyramid_reconstruct(pyramid)`，接受一个金字塔 `pyramid` 作为输入，输出重建后的图像 `output`。

2. 获取金字塔层数：`level = length(pyramid);`，通过获取 `pyramid` 的长度，即金字塔的层数。

3. 重建过程：从金字塔的最高层开始逐层向下重建。

4. 循环遍历：`for i = level : -1 : 2`，从最高层开始，逐层向下，直到第二层。

5. 获取上一层的尺寸：`[m, n] = size(pyramid{i - 1});`，获取上一层金字塔的尺寸，用于上采样操作。

6. 上采样并叠加：`pyramid{i - 1} = pyramid{i - 1} + imresize(pyramid{i}, [m, n]);`，将当前层金字塔进行上采样，并与上一层金字塔叠加。

7. 重建完成：重建后的金字塔存储在 `pyramid{1}` 中。

8. 输出结果：`output = pyramid{1};`，将重建后的金字塔的第一层作为输出结果。

这段代码实现了对金字塔进行反向操作，将金字塔的每一层进行上采样并叠加，最终得到原始尺寸的图像作为输出结果。

function output = pyramid_reconstruct(pyramid)

level = length(pyramid);

for i = level : -1 :2

    [m, n] = size(pyramid{i - 1});

    pyramid{i - 1} = pyramid{i -1} + imresize(pyramid{i}, [m, n]);

end

output = pyramid{1};

end

Underwater optical model

The direct component:

(1)

where J(x) is the radiance of the object, d(x) is the distance between the observer and the object, and η is the attenuation

coefficient. The exponential term e−ηd(x) is also known as the transmission t(x) through the underwater medium.

Back scattering

 (2)

where B∞(x) is a color vector known as the back-scattered light.

Underwater optical model

（3）

类比大气散射模型：/the light propagation model.

均匀介质下，以此模型为基础的方法图像处理效果较好.