FPGA高端项目：FPGA解码MIPI视频+图像缩放+视频拼接，基于MIPI CSI-2 RX Subsystem架构实现，提供4套工程源码和技术支持

FPGA高端项目：FPGA解码MIPI视频+图像缩放+视频拼接，基于MIPI CSI-2 RX Subsystem架构实现，提供4套工程源码和技术支持

1、前言

FPGA图像采集领域目前协议最复杂、技术难度最高的应该就是MIPI协议了，MIPI解码难度之高，令无数英雄竞折腰，以至于Xilinx官方不得不推出专用的IP核供开发者使用，不然太高端的操作直接吓退一大批FPGA开发者，就没人玩儿了。

工程概述

本设计基于Xilinx系列FPGA开发板，采集OV5640摄像头的2Lane MIPI视频，OV5640摄像头配置为MIPI模式，引脚经过权电阻方案后接入FPGA的HS BANK的LVDS差分IO；调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D-PHY功能，该IP由Xilinx免费提供，将MIPI视频解码后以AXIS视频流格式输出；再调用Xilinx的Sensor Demosaic IP实现RAM转RGB功能； 再调用Xilinx的Gammer LUT IP实现伽马校正功能； 再调用Xilinx官方的Video Processing Subsystem IP核将输入视频进行图像缩放操作，该操作通过Zynq软核SDK软件配置，其本质为通过AXI_Lite 做寄存器配置；再调用Xilinx的VDMA IP实现图像三帧缓存功能；再调用Xilinx的Video Mixer IP实现多路视频拼接操作，该操作通过Zynq软核SDK软件配置，其本质为通过AXI_Lite 做寄存器配置；再调用Xilinx的Video Timing Controller和AXI4-Stream toVideo Out IP实现视频流从AXI4-Stream到VGA时序的转换；最后调用纯verilog代码实现的RGB转HDMI模块将视频以HDMI接口输出显示器显示；针对目前市面上主流的FPGA，本Xilinx系列FPGA解码OV5640-MIPI视频方案一共移植了4套工程源码，详情如下：

这里说明一下提供的4套工程源码的作用和价值，如下：

工程源码1

FPGA开发板型号为Xilinx–Kintex7–xc7k325tffg900-2，输入视频为OV5640摄像头，MIPI模式，2 Line，RAW10输出像素，分辨率配置为1280x720@60Hz；经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流，再经过Sensor Demosaic实现Bayer转RGB，再经过Gammer LUT实现伽马校正，然后将视频复制为2路，以模拟2路视频源；再经过Video Processing Subsystem 实现图像缩放，将原始视频从1280x720缩放为960x540；再经过VDMA实现视频三帧缓存，图像缓存介质为DDR3，再经过Video Mixer IP实现2路视频拼接；最后视频以HDMI接口输出，输出分辨率为在1920x1080黑色背景下叠加2路缩放拼接后的视频；该方案适用于Xilinx 7系列运行MicroBlaze的FPGA；

工程源码2

FPGA开发板型号为Xilinx–Kintex7–xc7k325tffg900-2，输入视频为OV5640摄像头，MIPI模式，2 Line，RAW10输出像素，分辨率配置为1280x720@60Hz；经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流，再经过Sensor Demosaic实现Bayer转RGB，再经过Gammer LUT实现伽马校正，然后将视频复制为4路，以模拟4路视频源；再经过Video Processing Subsystem 实现图像缩放，将原始视频从1280x720缩放为960x540；再经过VDMA实现视频三帧缓存，图像缓存介质为DDR3，再经过Video Mixer IP实现4路视频拼接；最后视频以HDMI接口输出，输出分辨率为在1920x1080黑色背景下叠加4路缩放拼接后的视频；该方案适用于Xilinx 7系列运行MicroBlaze的FPGA；

工程源码3

FPGA开发板型号为Xilinx–Zynq7020–xc7z020clg400-2，输入视频为OV5640摄像头，MIPI模式，2 Line，RAW10输出像素，分辨率配置为1280x720@60Hz；经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流，再经过Sensor Demosaic实现Bayer转RGB，再经过Gammer LUT实现伽马校正，然后将视频复制为2路，以模拟2路视频源；再经过Video Processing Subsystem 实现图像缩放，将原始视频从1280x720缩放为960x540；再经过VDMA实现视频三帧缓存，图像缓存介质为DDR3，再经过Video Mixer IP实现2路视频拼接；最后视频以HDMI接口输出，输出分辨率为在1920x1080黑色背景下叠加2路缩放拼接后的视频；该方案适用于Xilinx Zynq7000系列运行Zynq的FPGA；

工程源码4

FPGA开发板型号为Xilinx–Zynq7020–xc7z020clg400-2，输入视频为OV5640摄像头，MIPI模式，2 Line，RAW10输出像素，分辨率配置为1280x720@60Hz；经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流，再经过Sensor Demosaic实现Bayer转RGB，再经过Gammer LUT实现伽马校正，然后将视频复制为4路，以模拟4路视频源；再经过Video Processing Subsystem 实现图像缩放，将原始视频从1280x720缩放为960x540；再经过VDMA实现视频三帧缓存，图像缓存介质为DDR3，再经过Video Mixer IP实现4路视频拼接；最后视频以HDMI接口输出，输出分辨率为在1920x1080黑色背景下叠加4路缩放拼接后的视频；该方案适用于Xilinx Zynq7000系列运行Zynq的FPGA；

本文详细描述了Xilinx 系列FPGA解码MIPI视频+图像缩放+视频拼接的设计方案，工程代码编译通过后上板调试验证，可直接项目移植，适用于在校学生做毕业设计、研究生项目开发，也适用于在职工程师做项目开发，可应用于医疗、军工等行业的数字成像和图像传输领域；整个工程调用Zynq软核做IP的配置，Zynq的配置在Vitis SDK里以C语言软件代码的形式运行，所以整个工程包括FPGA逻辑设计和Vitis SDK软件设计两部分，需要具备FPGA和嵌入式C语言的综合能力，不适合初学者或者小白；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

关于MIPI协议，请自行搜索，csdn就有很多大佬讲得很详细，我就不多写这块了；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)，若大佬们觉得有所冒犯，请私信批评教育；部分模块源码转载自上述网络，版权归原作者所有，如有侵权请联系我们删除；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案，主要是MIPI解码的，既有纯vhdl实现的MIPI解码，也有调用Xilinx官方IP实现的MIPI解码，既有2line的MIPI解码，也有4line的MIPI解码，既有4K分辨率的MIPI解码，也有小到720P分辨率的MIPI解码，既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码，还有基于Lattice平台FPGA的MIPI解码，后续还将继续推出更过国产FPGA的MIPI解码方案，毕竟目前国产化方案才是未来主流，后续也将推出更多MIPI编码的DSI方案，努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此，我专门建了一个MIPI编解码的专栏，并将MIPI编解码的博客都放到了专栏里整理，对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看，专栏地址如下：
点击直接前往专栏

本方案在Xilinx Artix7-35T上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台，针对目前市面上主流的FPGA，本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码，本文讲述的是在Zynq7000中端FPGA上的应用，想要直接应用于Xilinx Artix7-35T 系列FPGA上的ov5640-MIPI视频解码应用的读者，可以参考我之前写得博客，以下是博客地址：
点击直接前往

本方案在Xilinx Artix7-100T上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台，针对目前市面上主流的FPGA，本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码，本文讲述的是在Zynq7000中端FPGA上的应用，想要直接应用于Xilinx Artix7-100T 系列FPGA上的ov5640-MIPI视频解码应用的读者，可以参考我之前写得博客，以下是博客地址：
点击直接前往

本方案在Xilinx Kintex7上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台，针对目前市面上主流的FPGA，本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码，本文讲述的是在Artix7-100T低端FPGA上的应用，想要直接应用于Xilinx Kintex7系列FPGA上的ov5640-MIPI视频解码应用的读者，可以参考我之前写得博客，以下是博客地址：
点击直接前往

本方案在Xilinx Zynq7000上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台，针对目前市面上主流的FPGA，本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码，本文讲述的是在Kintex7中端FPGA上的应用，想要直接应用于Xilinx Zynq7000系列FPGA上的ov5640-MIPI视频解码应用的读者，可以参考我之前写得博客，里面包括了Zynq7020、Zynq7030、Zynq7035、Zynq7045、Zynq7100等平台；以下是博客地址：
点击直接前往

本方案在Xilinx Zynq UltraScale上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台，针对目前市面上主流的FPGA，本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码，本文讲述的是在Artix7-100T低端FPGA上的应用，想要直接应用于Xilinx Zynq UltraScale系列FPGA上的ov5640-MIPI视频解码应用的读者，可以参考我之前写得博客，里面包括了Zynq UltraScale XCZU2CG、Zynq UltraScale XCZU3EG、Zynq UltraScale XCZU4EV、Zynq UltraScale XCZU7EV、Zynq UltraScale XCZU9EG等平台；以下是博客地址：
点击直接前往

本方案的图像缩放应用

基于MIPI CSI-2 RX Subsystem架构实现的MIPI视频解码，还可以加上图像缩放应用，使得其应用范围更广，之前写过一片啊博客；以下是博客地址：
点击直接前往

纯VHDL代码解码ov5640-MIPI视频方案

与上述基于MIPI CSI-2 RX Subsystem方案不同，本博也提供基于纯VHDL代码解码ov5640-MIPI视频的方案，该方案的区别与优势在于可以看到VHDL源码而非单纯的IP，能看到源码的意思就是你可以任意修改源码以适配自己的项目，其意义与价值无需多言，该方案目前已在Xilinx Zynq7020上移植成功，共有两套工程源码，一套是单路ov5640-MIPI视频解码后HDMI输出；另一套是4路ov5640-MIPI视频解码经缩放拼接后HDMI 4分屏输出；感兴趣的可以参考我之前的博客；
单路MIPI解码输出博客地址如下：
点击直接前往
4路MIPI解码缩放拼接输出博客地址如下：
点击直接前往

Video Processing Subsystem图像缩放应用

本设计采用Vivado2022.2版本设计，该版本属于高版本，不能使用HLS2019.2及其以下版本生成的HLS IP，所以也就不能使用本博客自研的HLS图像缩放IP，只能使用Video Processing Subsystem，关于Video Processing Subsystem，之前写过一篇博客，可以参考学习，以下是博客地址：
点击直接前往

Video Mixer视频拼接应用

关于Video Mixer，之前写过一篇博客，可以参考学习，以下是博客地址：
点击直接前往

3、详细设计方案

设计原理框图

设计原理框图如下：

OV5640及其配置

输入视频采用廉价的OV5640摄像头模组，配置为MIPI模式，2 Lane，数据格式为RAW10，线速率为1000Mbps，视频分辨率为1280X720，一个时钟一个像素，OV5640需要SCCB总线配置才能运行，该总线等价于I2C总线，纯FPGA的工程调用AXI-GPIO模拟I2C，利用Vitis软件配置OV5640；Zynq的工程使用PS端自带的i2c片内外资源，利用Vitis软件配置OV5640，配置部分代码有C语言实现，具体参考Vitis程序；

MIPI-DPHY硬件权电阻方案

使用Xilinx官方推荐的权电阻硬件方案将输入的差分MIPI对恢复HS和PL，原理图部分截图如下：

注意：权电阻方案只在低速率的MIPI模式下可用，高速率的MIPI请用专用芯片实现，比如MC20001，MC系列这种方案可以支持到2Gbps/Lane速率以上，只要FPGA的IO速率够用；

MIPI CSI-2 RX Subsystem

调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D-PHY功能，该IP由Xilinx免费提供，将MIPI视频解码后以AXIS视频流格式输出；该IP不需要额外的SDK软件配置，调用和配置如下：


由于调用了Xilinx的MIPI CSI-2 RX Subsystem IP核，所以性能上就取决于你的FPGA型号，理论上FPGA越高端，支持的IO线速率或者GT高速接口线速率就越高，就能跑速率更高的MIPI视频；
该IP适应性极强，支持的MIPI相机性能参数如下：


并且，在越高端的FPGA型号上，该IP支持的高端性能也越多；
由于调用了Xilinx的MIPI CSI-2 RX Subsystem IP核，NIPI视频解码的稳定性很好，且使用及其简单，缺点是看不到源码，出了问题后不好排查，只能在输入输出接口添加ila进行逐级追踪；
本方案使用的FPGA型号为Xilinx zynq 7000系列，属于中端FPGA的MIPI解码应用，再小型的Artix7-35T或者Spartan7、Spartan6等就已经不能使用MIPI CSI-2 RX Subsystem了；

以工程源码3为例，MIPI CSI-2 RX Subsystem占用逻辑资源如下：

Sensor Demosaic图像格式转换

调用Xilinx的Sensor Demosaic IP实现RAM转RGB功能，该IP通过Vitis的C代码软件配置，Sensor Demosaic调用和C代码软件配置代码截图如下：

Gammer LUT伽马校正

调用Xilinx的Gammer LUT IP实现伽马校正功能，该IP通过Vitis的C代码软件配置，Gammer LUT调用和C代码软件配置代码截图如下：

Video Processing Subsystem 介绍

由于工程所用到的IP都是常用IP，所以这里重点介绍一下Video Processing Subsystem；
Video Processing Subsystem有缩放、去隔行、颜色空间转换等功能，这里仅使用图像缩放功能；其特点如下：
优点1：适用于Xilinx所有系列的FPGA器件和所有的Vivado版本；
优点2：支持最大分辨率：8K，即可以处理高达8K的视频；
优点3：输入视频格式：AXI4-Stream，方便对接Xilinx图像处理套路的相关IP；
优点4：输出视频格式：AXI4-Stream，方便对接Xilinx图像处理套路的相关IP；
优点5：模块占用的FPGA逻辑资源更小，相比于自己写的HLS图像缩放而言，官方的Video Processing Subsystem资源占用大约减小30%左右，且更高效：
注意！！！！
注意！！！！
注意！！！！
注意！！！！
缺点1：需要SDK软件配置，其本质为通过AXI_Lite 做寄存器配置，设计难度现对复杂，对新手小白不太友好；
缺点2：Xilinx官方提供的Video Processing Subsystem IAP并不能实现任意尺寸的图像缩放，只能在IAP中视频分辨率查找表范围内进行缩放操作，如果想要实现自定义任意尺寸缩放，需要修改Xilinx官方提供的API源代码，对新手小白极其友好，有此类需求的朋友可以联系博主，提供私人定制服务，也就是我帮你修改Xilinx官方提供的API源代码，以实现自定义任意尺寸缩放操作；

Video Processing Subsystem逻辑资源如下，请谨慎评估你的FPGA资源情况；

Video Processing Subsystem IP配置如下：这里配置为双线性插值图像缩放算法；

VDMA图像缓存

调用Xilinx的VDMA IP实现图像三帧缓存功能，该IP通过Vitis的C代码软件配置；VDMA调用和C代码软件配置代码截图如下：

Video Mixer介绍

这里重点介绍一下Video Mixer IP；
支持最大分辨率：8K，即可以处理高达8K的视频；
支持最多16层视频拼接叠加，即最多可拼接16路视频；
输入视频格式：AXI4-Stream；
输出视频格式：AXI4-Stream；
需要SDK软件配置，其本质为通过AXI_Lite 做寄存器配置；
提供自定义的配置API，通过调用该库函数即可轻松使用，具体参考SDK代码；
模块占用的FPGA逻辑资源更小，相比于自己写的HLS视频拼接而言，官方的Video Mixer资源占用大约减小30%左右，且更高效：
以工程源码3的2路视频拼接为例，Video Mixer逻辑资源如下，请谨慎评估你的FPGA资源情况；

AXI4-Stream toVideo Out

再调用Xilinx的Video Timing Controller和AXI4-Stream toVideo Out IP实现视频流从AXI4-Stream到VGA时序的转换；Video Timing Controller配置为1920x1080@60Hz，输出分辨率为在1920x1080黑色背景下叠加的2路或4路缩放拼接后的视频；这两个IP不需要软件配置；Video Timing Controller和AXI4-Stream toVideo Out调用截图如下：

HDMI输出

最后用纯verilog实现的HDMI发送模块将视频输出显示器显示，该IP最大输出分辨率只支持1920*1080@60Hz；IP调用截图如下：

工程源码架构

该工程由vivado Block Design设计和SDK软件设计构成；
vivado Block Design设计主要是MIPI解码、ISP处理、图像缓存、图像输出等逻辑部分设计；
SDK软件设计主要是对Block Design设计中使用到的各种IP进行初始化和配置；
以工程源码3的2路视频缩放拼接为例，vivado Block Design设计架构如下：

以工程源码3的2路视频缩放拼接为例，综合后的工程代码架构如下：

以工程源码3的2路视频缩放拼接为例，Vitis SDK C语言软件是为了配置FPGA调用的IP，用VItis打开即可查看，代码内容如下：

由于工程中用到了HLS生成的IP，Sensor Demosaic和Gammer LUT，可能会出现综合编译失败，或者警告后在Vitis SDK里找不到设备ID等情况，此时需要更改电脑系统时间或者打上官方补丁解决这件事情，具体方法参考这位大佬博文：
直接点击前往

4、vivado工程1详解：Kintex7-35T版本–2路视频缩放拼接

开发板FPGA型号：Xilinx–Kintex7–xc7k325tffg900-2；
开发环境：Vivado2022.2；
输入：OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz；
输出：HDMI ，分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频；
图像缩放方案：Xilinx–Video Processing Subsystem方案；
图像缩放实例：1280x720缩放为960x540；
视频拼接方案：Xilinx–Video Mixer方案；
视频拼接实例：2路视频拼接；
方案应用：Xilinx 系列FPGA解码MIPI视频+图像缩放；
工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

5、vivado工程2详解：Kintex7-35T版本–4路视频缩放拼接

开发板FPGA型号：Xilinx–Kintex7–xc7k325tffg900-2；
开发环境：Vivado2022.2；
输入：OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz；
输出：HDMI ，分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频；
图像缩放方案：Xilinx–Video Processing Subsystem方案；
图像缩放实例：1280x720缩放为960x540；
视频拼接方案：Xilinx–Video Mixer方案；
视频拼接实例：4路视频拼接；
方案应用：Xilinx 系列FPGA解码MIPI视频+图像缩放；
工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

6、vivado工程3详解：Zynq7020版本–2路视频缩放拼接

开发板FPGA型号：Xilinx–Zynq7020–xc7z020clg400-2；
开发环境：Vivado2022.2；
输入：OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz；
输出：HDMI ，分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频；
图像缩放方案：Xilinx–Video Processing Subsystem方案；
图像缩放实例：1280x720缩放为960x540；
视频拼接方案：Xilinx–Video Mixer方案；
视频拼接实例：2路视频拼接；
方案应用：Xilinx 系列FPGA解码MIPI视频+图像缩放；
工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

7、vivado工程4详解：Zynq7020版本–4路视频缩放拼接

开发板FPGA型号：Xilinx–Zynq7020–xc7z020clg400-2；
开发环境：Vivado2022.2；
输入：OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz；
输出：HDMI ，分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频；
图像缩放方案：Xilinx–Video Processing Subsystem方案；
图像缩放实例：1280x720缩放为960x540；
视频拼接方案：Xilinx–Video Mixer方案；
视频拼接实例：4路视频拼接；
方案应用：Xilinx 系列FPGA解码MIPI视频+图像缩放；
工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

8、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

9、上板调试验证

准备工作

需要准备的器材如下：
FPGA开发板，可以自己准备，也可以购买本博主使用的同款开发板，省事儿；
MIPI-OV5640摄像头，可以自己准备，也可以购买本博主使用的同款开发板，省事儿；
HDMI显示器；
MIPI-OV5640摄像头与开发板连接如下：

然后上电并下载bit测试；

输出视频演示

以工程源码3为例，2路视频缩放拼接输出如下：

以工程源码4为例，4路视频缩放拼接输出如下：

14、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：