PotatoPie 4.0 实验教程(29) —— FPGA实现摄像头图像均值滤波处理

图像的均值滤波简介

图像均值滤波处理是一种常见的图像处理技术，用于降低图像中噪声的影响并平滑图像。该方法通过在图像中滑动一个固定大小的窗口（通常是一个正方形或矩形），将窗口中所有像素的值取平均来计算窗口中心像素的新值。这种操作会使图像中的高频噪声减弱，并且可以使图像的轮廓变得更加模糊，从而使得图像更加平滑。

图像均值滤波的理论依据是基于局部区域的像素值平均化。当图像中的一个像素值受到噪声的影响时，它的值可能会与其周围像素的值不一致。通过取局部区域像素值的平均，可以有效地减小噪声的影响，从而得到更加平滑的图像。

数学上，对于一个大小为 N×N 的滤波器（通常称为卷积核），图像中的每个像素被替换为其周围 N×N 区域中所有像素值的平均值。滤波器的大小决定了平滑效果的程度，较大的滤波器会导致更大程度的平滑，但可能会损失图像的细节信息。

均值滤波步骤和算法实现

均值滤波是一种常用的图像平滑处理方法，其步骤如下：

1. 定义滤波模板： 通常使用一个固定大小的滤波模板（例如3×3或5×5）。

2. 对每个像素应用滤波： 将模板中心的像素放置在图像的每个像素位置，并计算模板覆盖的像素的平均值。

3. 更新图像值： 将计算得到的平均值作为当前像素的新值。

4. 处理图像边界： 对于图像边界的像素，由于模板无法完全覆盖，需要根据特定的策略来处理，例如忽略边界像素、使用镜像边界像素或补零处理等。

5. 输出结果： 输出经过均值滤波处理后的图像。

这种滤波方法有助于去除图像中的噪声和细节，使图像变得更加平滑。

python实现图像的均值滤波处理源码

import cv2
import numpy as np
import os
import matplotlib.pyplot as plt
 
# 获取当前脚本所在目录
current_directory = os.path.dirname(os.path.abspath(__file__))
 
# 构建图像文件的完整路径
image_path = os.path.join(current_directory, 'Lena.jpg')
 
# 读取图像
image_in = cv2.imread(image_path)
 
# 将彩色图像转换为灰度图像
image_gray = cv2.cvtColor(image_in, cv2.COLOR_BGR2GRAY)
 
# 获取图像尺寸
row, col = image_gray.shape
 
# 将灰度图像转换为浮点型
image_gray = image_gray.astype(float)
 
# 初始化用于存储均值滤波结果的图像
average_image = np.zeros_like(image_gray)
 
# 对灰度图像应用均值滤波
for i in range(1, row-1):
    for j in range(1, col-1):
        average_image[i, j] = (image_gray[i-1, j-1] + image_gray[i-1, j] + image_gray[i-1, j+1] +
                               image_gray[i, j-1] + image_gray[i, j] + image_gray[i, j+1] +
                               image_gray[i+1, j-1] + image_gray[i+1, j] + image_gray[i+1, j+1]) / 9
 
# 添加椒盐噪声到灰度图像
noise_salt_pepper = np.random.choice([0, 1], size=(row, col), p=[0.99, 0.01])  # 进一步降低椒盐噪声密度
image_gray_salt_pepper = image_gray.copy()
image_gray_salt_pepper[noise_salt_pepper == 1] = 255  # 将椒盐噪声点的灰度值设为255
 
# 初始化用于存储均值滤波结果的图像
average_image_salt_pepper = np.zeros_like(image_gray)
 
# 对添加椒盐噪声后的灰度图像应用均值滤波
for i in range(1, row-1):
    for j in range(1, col-1):
        average_image_salt_pepper[i, j] = (image_gray_salt_pepper[i-1, j-1] + image_gray_salt_pepper[i-1, j] + image_gray_salt_pepper[i-1, j+1] +
                                           image_gray_salt_pepper[i, j-1] + image_gray_salt_pepper[i, j] + image_gray_salt_pepper[i, j+1] +
                                           image_gray_salt_pepper[i+1, j-1] + image_gray_salt_pepper[i+1, j] + image_gray_salt_pepper[i+1, j+1]) / 9
 
# 添加高斯噪声到灰度图像
noise_gaussian = np.random.normal(0, 0.08, (row, col))  # 进一步降低高斯噪声的强度
image_gray_gaussian = image_gray + noise_gaussian * 255
image_gray_gaussian = np.clip(image_gray_gaussian, 0, 255)
 
# 初始化用于存储均值滤波结果的图像
average_image_gaussian = np.zeros_like(image_gray)
 
# 对添加高斯噪声后的灰度图像应用均值滤波
for i in range(1, row-1):
    for j in range(1, col-1):
        average_image_gaussian[i, j] = (image_gray_gaussian[i-1, j-1] + image_gray_gaussian[i-1, j] + image_gray_gaussian[i-1, j+1] +
                                         image_gray_gaussian[i, j-1] + image_gray_gaussian[i, j] + image_gray_gaussian[i, j+1] +
                                         image_gray_gaussian[i+1, j-1] + image_gray_gaussian[i+1, j] + image_gray_gaussian[i+1, j+1]) / 9
 
# 显示原始灰度图像和均值滤波后的图像
plt.figure(figsize=(12, 10))
 
plt.subplot(3, 2, 1)
plt.imshow(image_gray, cmap='gray')
plt.title('Original Gray Image')
 
plt.subplot(3, 2, 2)
plt.imshow(average_image, cmap='gray')
plt.title('Average Image')
 
plt.subplot(3, 2, 3)
plt.imshow(image_gray_salt_pepper, cmap='gray')
plt.title('Salt & Pepper Image')
 
plt.subplot(3, 2, 4)
plt.imshow(average_image_salt_pepper, cmap='gray')
plt.title('Average Salt & Pepper Image')
 
plt.subplot(3, 2, 5)
plt.imshow(image_gray_gaussian, cmap='gray')
plt.title('Gaussian Image')
 
plt.subplot(3, 2, 6)
plt.imshow(average_image_gaussian, cmap='gray')
plt.title('Average Gaussian Image')
 
plt.tight_layout()
plt.show()

这段代码实现了以下功能：

1. 读取一张彩色图像并将其转换为灰度图像。
2. 对灰度图像应用均值滤波，以平滑图像并降低噪声。
3. 添加了椒盐噪声到灰度图像中，模拟图像中的随机噪声。
4. 对添加了椒盐噪声的灰度图像应用均值滤波，以降低椒盐噪声对图像的影响。
5. 添加了高斯噪声到灰度图像中，模拟图像中的连续噪声。
6. 对添加了高斯噪声的灰度图像应用均值滤波，以降低高斯噪声对图像的影响。
7. 显示原始灰度图像、均值滤波后的图像、添加椒盐噪声后的图像、添加高斯噪声后的图像以及它们各自的均值滤波结果。

这段代码可以用于图像处理中的噪声去除和平滑处理。

MATLAB实现图像的均值滤波处理源码

clear;  % 清空工作区变量
clear all;  % 清除所有变量
clc;  % 清空命令窗口
 
% 获取当前脚本所在目录
current_directory = fileparts(mfilename('fullpath'));
 
% 构建图像文件的完整路径
image_path = fullfile(current_directory, 'Lena.jpg');
 
% 读取图像
image_in = imread(image_path);
 
% 将彩色图像转换为灰度图像
image_gray = rgb2gray(image_in);
 
% 获取图像尺寸
[row,col] = size(image_gray);
 
% 将灰度图像转换为双精度类型
image_gray = im2double(image_gray); 
 
% 初始化用于存储均值滤波结果的图像
average_image = zeros(row,col);
 
% 对灰度图像应用均值滤波
for i = 2:1:row-1
    for j = 2:1:col-1
        average_image(i,j) = (...
            image_gray(i-1,j-1) + image_gray(i-1,j) + image_gray(i-1,j+1) + ...
            image_gray(i,j-1)   + image_gray(i,j)   + image_gray(i,j+1)   + ...
            image_gray(i+1,j-1) + image_gray(i+1,j) + image_gray(i+1,j+1)) / 9;
    end
end
 
% 添加椒盐噪声到灰度图像
image_gray_salt_pepper = imnoise(image_gray,'salt & pepper',0.05); 
image_gray_salt_pepper = im2double(image_gray_salt_pepper); 
 
% 初始化用于存储均值滤波结果的图像
average_image_salt_pepper = zeros(row,col);
 
% 对添加椒盐噪声后的灰度图像应用均值滤波
for i = 2:1:row-1
    for j = 2:1:col-1
        average_image_salt_pepper(i,j) = (...
            image_gray_salt_pepper(i-1,j-1) + image_gray_salt_pepper(i-1,j) + image_gray_salt_pepper(i-1,j+1) + ...
            image_gray_salt_pepper(i,j-1)   + image_gray_salt_pepper(i,j)   + image_gray_salt_pepper(i,j+1)   + ...
            image_gray_salt_pepper(i+1,j-1) + image_gray_salt_pepper(i+1,j) + image_gray_salt_pepper(i+1,j+1)) / 9;
    end
end
 
% 添加高斯噪声到灰度图像
image_gray_gaussian = imnoise(image_gray,'gaussian',0.05); 
image_gray_gaussian = im2double(image_gray_gaussian); 
 
% 初始化用于存储均值滤波结果的图像
average_image_gaussian = zeros(row,col);
 
% 对添加高斯噪声后的灰度图像应用均值滤波
for i = 2:1:row-1
    for j = 2:1:col-1
        average_image_gaussian(i,j) = (...
            image_gray_gaussian(i-1,j-1) + image_gray_gaussian(i-1,j) + image_gray_gaussian(i-1,j+1) + ...
            image_gray_gaussian(i,j-1)   + image_gray_gaussian(i,j)   + image_gray_gaussian(i,j+1)   + ...
            image_gray_gaussian(i+1,j-1) + image_gray_gaussian(i+1,j) + image_gray_gaussian(i+1,j+1)) / 9;
    end
end
 
% 显示原始灰度图像和均值滤波后的图像
figure
subplot(321);
imshow(image_gray), title('原始灰度图像');
subplot(322);
imshow(average_image), title('均值滤波后的图像');
subplot(323);
imshow(image_gray_salt_pepper), title('添加椒盐噪声后的灰度图像');
subplot(324);
imshow(average_image_salt_pepper), title('添加椒盐噪声后的均值滤波图像');
subplot(325);
imshow(image_gray_gaussian), title('添加高斯噪声后的灰度图像');
subplot(326);
imshow(average_image_gaussian), title('添加高斯噪声后的均值滤波图像');

这段代码实现了图像的均值滤波处理，具体功能如下：

1. 清空工作区变量和命令窗口： clear、clear all、clc函数用于清空工作区变量和命令窗口，确保工作环境清晰。

2. 获取当前脚本所在目录： fileparts、mfilename和fullpath函数用于获取当前脚本所在的目录，并通过fullfile函数构建图像文件的完整路径，以便读取图像文件。

3. 读取图像： imread函数读取名为”Lena.jpg”的图像文件，并将图像数据存储在变量image_in中。

4. 转换为灰度图像： rgb2gray函数将彩色图像转换为灰度图像，以便后续处理。

5. 获取图像尺寸： size函数获取灰度图像的尺寸，包括行数和列数。

6. 转换为双精度类型： im2double函数将灰度图像转换为双精度类型，以便进行数学运算。

7. 初始化存储均值滤波结果的图像矩阵： 创建一个与输入图像大小相同的矩阵average_image，用于存储均值滤波后的图像。

8. 应用均值滤波： 使用两层嵌套的循环遍历图像中的每个像素，并对其应用3×3的均值滤波模板，得到均值滤波后的像素值。

9. 添加噪声并进行均值滤波处理： 将灰度图像分别添加了椒盐噪声和高斯噪声，并对噪声图像分别进行均值滤波处理。

10. 显示结果图像： 将原始灰度图像和三种处理后的图像（原始灰度图像、椒盐噪声+均值滤波、高斯噪声+均值滤波）以子图形式展示在一个大图中。

FPGA工程分析

工程层次图

与demo18相比，只是多了一个img_mean_fltr的模块，也就是下面这一段代码，在从SDRAM读出来之后，经它处理后再输出hdmi_tx模块。

img_mean_fltr u_mean_fltr
(
    .i_clk(clk_pixel),
    .i_rst_n(sys_rst_n),
    .i_hs(VGA_HS),
    .i_vs(VGA_VS),
    .i_de(VGA_DE),
    .i_r(VGA_RGB[23:16]),
    .i_g(VGA_RGB[15:8] ),
    .i_b(VGA_RGB[7:0]  ),         
    .o_hs(mean_hs),
    .o_vs(mean_vs),
    .o_de(mean_de),   
    .o_r(mean_data[23:16]),
    .o_g(mean_data[15:8] ),
    .o_b(mean_data[7:0]  ) 
);

img_mean_fltr模块代码分析

从层次图可以看到这个模块的结果跟前面的 《PotatoPie 4.0 实验教程(28) —— FPGA实现sobel算子对摄像头图像进行边缘提取》整体结构是一样的。

首先例化图像缓冲模块，用于将图像从一个时钟一个像素转为一个时钟输出三行三列9个像素。以R通道为例

img_buf u_r_buf
(
  .i_clk      (i_clk        ),
  .i_rst_n    (i_rst_n      ),
  .i_de      (i_de        ),
  .i_data      (i_r        ),
  .o_de      (          ),
  .o_p11    (r_p11      ),
  .o_p12    (r_p12      ),
  .o_p13    (r_p13      ),  
  .o_p21    (r_p21      ),
  .o_p22    (r_p22      ),
  .o_p23    (r_p23      ),    
  .o_p31    (r_p31      ),
  .o_p32    (r_p32      ),
  .o_p33    (r_p33      )
);

代码后面又分别对G、B通道进行了行缓存的例化。

然后计算中心像素周围的另外8个像素的和，以R通道为例，

sum_r <= r_p11 + r_p12 + r_p13 + r_p21 + r_p23 + r_p31 + r_p32 + r_p33;

最后进行求平均值处理，右移3就相当于除以8。

avg_r <= sum_r >> 3;

管脚约束

与PotatoPie 4.0 实验教程(18) —— FPGA实现OV5640摄像头采集以SDRAM作为显存进行HDMI输出显示相同，不作赘述。

时序约束

与PotatoPie 4.0 实验教程(18) —— FPGA实现OV5640摄像头采集以SDRAM作为显存进行HDMI输出显示相同，不作赘述。

实验效果