赞
踩
目前FPGA实现SDI视频编解码有两种方案:一是使用专用编解码芯片,比如典型的接收器GS2971,发送器GS2972,优点是简单,比如GS2971接收器直接将SDI解码为并行的YCrCb422,GS2972发送器直接将并行的YCrCb422编码为SDI视频,缺点是成本较高,可以百度一下GS2971和GS2972的价格;另一种方案是使用FPGA逻辑资源部实现SDI编解码,利用Xilinx系列FPGA的GTP/GTX资源实现解串,利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码,优点是合理利用了FPGA资源,GTP/GTX资源不用白不用,缺点是操作难度大一些,对FPGA开发者的技术水平要求较高。有意思的是,这两种方案在本博这里都有对应的解决方案,包括硬件的FPGA开发板、工程源码等等。
本设计基于Xilinx的Artix7系列FPGA开发板实现SDI相机输出,也就是实现普通Sensor采集转SDI输出,市面上的SDI相机也就是这个原理;理论上输入源可以是多种多样的,取决于你想做的产品,本博主手上只有OV5640摄像头,外加开发板自带了一路HDMI输入接口,所以本设计的Sensor为OV5640摄像头和HDMI,另外,为了照顾收手上没有Sensor或者不是本设计同款Sensor亦或是Sensor方案还未定的情况,本博主在工程中还设计了动态彩条模块,彩条由FPGA内部逻辑产生,且是动态移动的,完全可模拟Sensor,输入源选择Sensor还是彩条,通过Sensor模块的顶层参数配置,默认选择Sensor输入;
FPGA采集到Sensor图像后,使用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3中读出后送入纯Verilog实现的RGB转BT1120模块实现RGB888视频到BT1120视频流的转换;然后调用Xilinx官方的SMPTE SD/HD/3G SDI IP核实现SDI视频编码操作,本工程有HD-SDI和3G-SDI两种编码;然后调用Xilinx官方的GTP高速资源(直接调用原语),实现并行数据到高速串行的转换,本博称之为串化,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,通过同轴线连接到SDI转HDMI盒子连接到HDMI显示器;本博客提供4套工程源码,具体如下:
现对上述4套工程源码做如下解释,方便读者理解:
工程源码1
开发板FPGA型号为Xilinx–>Xilinx-Artix7-100T–xc7a100tfgg484-2;输入源为OV5640摄像头或动态彩条,分辨率为1280x720@30Hz,可以通过Sensor模块的顶层参数配置,默认选择Sensor输入;FPGA纯verilog实现的i2c配置模块对摄像头进行初始化配置,并采集摄像头数据以RGB888输出;然后调用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3中读出后送入纯Verilog实现的RGB转BT1120模块实现RGB888视频到BT1120视频流的转换;然后调用Xilinx官方的SMPTE SD/HD/3G SDI IP核实现HD-SDI视频编码操作;然后调用Xilinx官方的GTP原语,实现并行数据到高速串行的转换,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,输出分辨率为1280x720@60Hz,属于HD-SDI标准,最后通过同轴线连接到SDI转HDMI盒子连接到HDMI显示器;该工程适用于Xilinx的Artix7低端系列FPGA实现Sensor转SDI输出场景;
工程源码2
开发板FPGA型号为Xilinx–>Xilinx-Artix7-100T–xc7a100tfgg484-2;输入源为OV5640摄像头或动态彩条,分辨率为1280x720@30Hz,可以通过Sensor模块的顶层参数配置,默认选择Sensor输入;FPGA纯verilog实现的i2c配置模块对摄像头进行初始化配置,并采集摄像头数据以RGB888输出;然后调用本博主自研的纯Verilog实现的图像处理模块对视频进行缩放操作,由1280x720放大到1920x1080;然后调用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3中读出后送入纯Verilog实现的RGB转BT1120模块实现RGB888视频到BT1120视频流的转换;然后调用Xilinx官方的SMPTE SD/HD/3G SDI IP核实现3G-SDI视频编码操作;然后调用Xilinx官方的GTP原语,实现并行数据到高速串行的转换,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,输出分辨率为1920x1080@60Hz,属于3G-SDI标准,最后通过同轴线连接到SDI转HDMI盒子连接到HDMI显示器;该工程适用于Xilinx的Artix7低端系列FPGA实现Sensor转SDI输出场景;
工程源码3
开发板FPGA型号为Xilinx–>Xilinx-Artix7-100T–xc7a100tfgg484-2;输入源为板载的HDMI输入接口或动态彩条,分辨率为1920x1080@60Hz,使用笔记本电脑接入HDMI输入接口,以模拟输入Sensor;可以通过Sensor模块的顶层参数配置,默认选择Sensor输入;FPGA纯verilog实现的i2c配置模块完成HDMI RX的DDC接口配置,EDID配置为1920x1080@60Hz,使用纯VDHL代码实现的HDMI转RGB模块实现输入HDMI视频解码操作,并输出Native的RGB888视频流;然后调用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3中读出后送入纯Verilog实现的RGB转BT1120模块实现RGB888视频到BT1120视频流的转换;然后调用Xilinx官方的SMPTE SD/HD/3G SDI IP核实现3G-SDI视频编码操作;然后调用Xilinx官方的GTP原语,实现并行数据到高速串行的转换,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,输出分辨率为1920x1080@60Hz,属于3G-SDI标准,最后通过同轴线连接到SDI转HDMI盒子连接到HDMI显示器;该工程适用于Xilinx的Artix7低端系列FPGA实现Sensor转SDI输出场景;
工程源码4
开发板FPGA型号为Xilinx–>Xilinx-Artix7-100T–xc7a100tfgg484-2;输入源为板载的HDMI输入接口或动态彩条,分辨率为1920x1080@60Hz,使用笔记本电脑接入HDMI输入接口,以模拟输入Sensor;可以通过Sensor模块的顶层参数配置,默认选择Sensor输入;FPGA纯verilog实现的i2c配置模块完成HDMI RX的DDC接口配置,EDID配置为1920x1080@60Hz,使用纯VDHL代码实现的HDMI转RGB模块实现输入HDMI视频解码操作,并输出Native的RGB888视频流;然后调用本博主自研的纯Verilog实现的图像处理模块对视频进行缩放操作,由1280x720放大到1920x1080;然后调用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3中读出后送入纯Verilog实现的RGB转BT1120模块实现RGB888视频到BT1120视频流的转换;然后调用Xilinx官方的SMPTE SD/HD/3G SDI IP核实现HD-SDI视频编码操作;然后调用Xilinx官方的GTP原语,实现并行数据到高速串行的转换,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,输出分辨率为1280x720@60Hz,属于HD-SDI标准,最后通过同轴线连接到SDI转HDMI盒子连接到HDMI显示器;该工程适用于Xilinx的Artix7低端系列FPGA实现Sensor转SDI输出场景;
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
我的博客主页开设有SDI视频专栏,里面全是FPGA编解码SDI的工程源码及博客介绍;既有基于GS2971/GS2972的SDI编解码,也有基于GTP/GTX资源的SDI编解码;既有HD-SDI、3G-SDI,也有6G-SDI、12G-SDI等;专栏地址链接如下:
点击直接前往
我的博客主页开设有SDI视频专栏,里面全是FPGA编解码SDI的工程源码及博客介绍;既有基于GS2971/GS2972的SDI编解码,也有基于GTP/GTX资源的SDI编解码;既有HD-SDI、3G-SDI,也有6G-SDI、12G-SDI等;专栏地址链接如下:
点击直接前往
本方案在Xilinx-Kintex7上也有应用,之前专门写过一篇博客,博客地址链接如下:
点击直接前往
本方案在Xilinx-Zynq上也有应用,之前专门写过一篇博客,博客地址链接如下:
点击直接前往
设计原理框图如下:
输入Sensor是本工程的输入设备,其一为OV5640摄像头,此外本博主在工程中还设计了动态彩条模块,彩条由FPGA内部逻辑产生,且是动态移动的,完全可模拟Sensor,输入源选择Sensor还是彩条,通过Sensor模块的顶层参数配置,默认选择Sensor输入;Sensor模块如下:
SENSOR_TYPE=0;则输出OV5640摄像头采集的视频;
SENSOR_TYPE=1;则输出动态彩条的视频;
OV5640摄像头需要i2c初始化配置,本设计配置为1280x720@30Hz分辨率,本设计提供纯verilog代码实现的i2c模块实现配置功能;此外,OV5640摄像头还需要图像采集模块实现两个时钟输出一个RGB565的视频转换为一个时钟输出一个RGB888视频,本设计提供纯verilog代码实现的图像采集模块实现配置功能;动态彩条则由FPGA内部逻辑实现,由纯verilog代码编写;将OV5640摄像头配置采集和动态彩条进行代码封装,形成helai_OVsensor.v的顶层模块,整个模块代码架构如下:
输入Sensor是本工程的输入设备,其二为板载的HDMI输入接口,使用笔记本电脑接入HDMI输入接口,以模拟输入Sensor;为了支持1080P@60Hz的输入视频,在硬件设计上需要加上驱动芯片,本设计采用TMDS141RHAR,也可采用其他型号,参考原理图如下:
此外本博主在工程中还设计了动态彩条模块,彩条由FPGA内部逻辑产生,且是动态移动的,完全可模拟Sensor,输入源选择Sensor还是彩条,通过Sensor模块的顶层参数配置,默认选择Sensor输入;Sensor模块如下:
SENSOR_TYPE=0;则输出HDMI接口采集的视频;
SENSOR_TYPE=1;则输出动态彩条的视频;
HDMI输入接口逻辑设计,必须要考虑DDC通信,即通过i2c总线与输入设备协商分辨率,即EDID配置;本设计提供纯verilog代码实现的i2c模块实现EDID配置;此外,TMDS差分视频进入FPGA IO后,需要将其解码为RGB视频,使用纯VDHL代码实现的HDMI转RGB模块实现输入HDMI视频解码操作,并输出Native的RGB888视频流,本博主已将该代码封装为了自定义IP,可在vivado中直接调用,如下:
将HDMI转RGB模块和动态彩条进行代码封装,形成helai_OVsensor.v的顶层模块,整个模块代码架构如下:
工程源码1、2的图像缩放模块使用纯Verilog方案,功能框图如下,由跨时钟FIFO、插值+RAM阵列构成,跨时钟FIFO的目的是解决跨时钟域的问题,比如从低分辨率视频放大到高分辨率视频时,像素时钟必然需要变大,这是就需要异步FIFO了,插值算法和RAM阵列具体负责图像缩放算法层面的实现;
插值算法和RAM阵列以ram和fifo为核心进行数据缓存和插值实现,设计架构如下:
图像缩放模块代码架构如下:模块的例化请参考工程源码的顶层代码;
图像缩放模块FIFO的选择可以调用工程对应的vivado工具自带的FIFO IP核,也可以使用纯verilog实现的FIFO,可通过接口参数选择,图像缩放模块顶层接口如下:
module helai_video_scale #(
//---------------------------Parameters----------------------------------------
parameter FIFO_TYPE = "xilinx", // "xilinx" for xilinx-fifo ; "verilog" for verilog-fifo
parameter DATA_WIDTH = 8 , //Width of input/output data
parameter CHANNELS = 1 , //Number of channels of DATA_WIDTH, for color images
parameter INPUT_X_RES_WIDTH = 11 //Widths of input/output resolution control signals
)(
input i_reset_n , // 输入--低电平复位信号
input [INPUT_X_RES_WIDTH-1:0] i_src_video_width , // 输入视频--即缩放前视频的宽度
input [INPUT_X_RES_WIDTH-1:0] i_src_video_height, // 输入视频--即缩放前视频的高度
input [INPUT_X_RES_WIDTH-1:0] i_des_video_width , // 输出视频--即缩后前视频的宽度
input [INPUT_X_RES_WIDTH-1:0] i_des_video_height, // 输出视频--即缩后前视频的高度
input i_src_video_pclk , // 输入视频--即缩前视频的像素时钟
input i_src_video_vs , // 输入视频--即缩前视频的场同步信号,必须为高电平有效
input i_src_video_de , // 输入视频--即缩前视频的数据有效信号,必须为高电平有效
input [DATA_WIDTH*CHANNELS-1:0] i_src_video_pixel , // 输入视频--即缩前视频的像素数据
input i_des_video_pclk , // 输出视频--即缩后视频的像素时钟,一般为写入DDR缓存的时钟
output o_des_video_vs , // 输出视频--即缩后视频的场同步信号,高电平有效
output o_des_video_de , // 输出视频--即缩后视频的数据有效信号,高电平有效
output [DATA_WIDTH*CHANNELS-1:0] o_des_video_pixel // 输出视频--即缩后视频的像素数据
);
FIFO_TYPE选择原则如下:
1:总体原则,选择"xilinx"好处大于选择"verilog";
2:当你的FPGA逻辑资源不足时,请选"xilinx";
3:当你图像缩放的视频分辨率较大时,请选"xilinx";
4:当你的FPGA没有FIFO IP或者FIFO IP快用完了,请选"verilog";
5:当你向自学一下异步FIFO时,,请选"verilog";
6:不同FPGA型号对应的工程FIFO_TYPE参数不一样,但选择原则一样,具体参考代码;
2种插值算法的整合与选择
本设计将常用的双线性插值和邻域插值算法融合为一个代码中,通过输入参数选择某一种算法;
具体选择参数如下:
input wire i_scaler_type //0-->bilinear;1-->neighbor
通过输入i_scaler_type 的值即可选择;
输入0选择双线性插值算法;
输入1选择邻域插值算法;
代码里的配置如下:
图像缩放模块使用非常简单,顶层代码里设置了四个参数,举例如下:
上图视频通过图像缩放模块但不进行缩放操作,旨在掌握图像缩放模块的用法;如果需要将图像放大到1080P,则修改为如下:
当然,需要修改的不仅仅这一个地方,FDMA的配置也需要相应修改,详情请参考代码,但我想要证明的是,图像缩放模块使用非常简单,你都不需要知道它内部具体怎么实现的,上手就能用;
图像缓存方案采用自研的FDMA图像缓存架构,缓存介质为DDR3;FDMA图像缓存架构由FDMA、FDMA控制器、缓存帧选择器构成;图像缓存使用Xilinx vivado的Block Design设计,如下图:
关于FDMA更详细的介绍,请参考我之前的博客,博文链接如下:
点击直接前往
在SDI输出方式下VGA时序模块的像素时钟由SMPTE SD/HD/3G SDI IP核的发送用户时钟提供,在不同的SDI模式下像素时钟不同,比如在3G-SDI模式下像素时钟为148.5M,在HD-SDI的720P@60Hz模式下像素时钟为74.25M;
在SDI输出方式下需要使用RGB转BT1120模块;RGB转BT1200模块的作用是将用户侧的RGB视频转换为BT1200视频输出给SMPTE SD/HD/3G SDI IP核;RGB转BT1120模块由RGB888转YUV444模块、YUV444转YUV422模块、SDI视频编码模块、数据嵌入模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:
SMPTE SD/HD/3G SDI IP核是Xilinx系列FPGA特有的用于SDI视频编解码的IP,该IP配置使用非常简单,vivado的UI界面如下:
SMPTE SD/HD/3G SDI IP核必须与GTP配合才能使用,对于SDI视频接收而言,该IP接收来自于GTP的数据,然后将SDI视频解码为BT1120视频输出,对于SDI视频发送而言,该IP接收来自于用户侧的的BT1120视频数据,然后将BT1120视频编码为SDI视频输出;该方案参考了Xilinx官方的设计;SMPTE SD/HD/3G SDI IP核代码架构如下:
本设计使用Xilinx特有的GTP 高速信号处理资源实现SDI差分视频信号的串化;对于SDI视频发送而言,GTP 起到串化的作用,即将输入的并行的数字信号串化为高速串行的差分信号;GTP 的使用一般需要例化GTP IP核,通过vivado的UI界面进行配置,但本设计需要对SD-SDI、HD-SDI、3G-SDI视频进行自动识别和自适应处理,所以需要使得GTP 具有动态改变线速率的功能,该功能可通过DRP接口配置,也可通过GTP 的rate接口配置,所以不能使用vivado的UI界面进行配置,而是直接例化GTP 的GTP E2_CHANNEL和GTP E2_COMMON源语直接使用GTP 资源;此外,为了动态配置GTP 线速率,还需要GTP 控制模块,该模块参考了Xilinx的官方设计方案,具有动态监测SDI模式,动态配置DRP等功能;该方案参考了Xilinx官方的设计;GTP 解串与串化模块代码架构如下:
Gv8500芯片实现差分转单端和增强驱动的功能,这里选用Gv8500是因为借鉴了了Xilinx官方的方案,当然也可以用其他型号器件。Gv8500驱动器原理图如下:
在SDI输出方式下需要使用到SDI转HDMI盒子,因为我手里的显示器没有SDI接口,只有HDMI接口,为了显示SDI视频,只能这么做,当然,如果你的显示器有SDI接口,则可直接连接显示,我的SDI转HDMI盒子在某宝购买,不到100块;
本博客提供4套工程源码,以工程源码2为例,vivado Block Design设计如下,其他工程与之类似,Block Design设计为图像缓存架构的部分:
以工程源码2为例,使工程源码架构如下,其他工程与之类似:
开发板FPGA型号:Xilinx-Artix7-100T–xc7a100tfgg484-2;
开发环境:Vivado2019.1;
输入:OV5640摄像头或动态彩条,分辨率1280x720@30Hz;
输出:HD-SDI,分辨率1280x720@60Hz;
SDI视频解串方案:Xilinx–GTP高速接口解串;
SDI视频解码方案:Xilinx–SMPTE SD/HD/3G SDI解码;
缓存方案:自研FDMA方案;
缓存介质:DDR3;
工程作用:此工程目的是让读者掌握Xilinx–Artix7低端系列FPGA实现Sensor转SDI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
开发板FPGA型号:Xilinx-Artix7-100T–xc7a100tfgg484-2;
开发环境:Vivado2019.1;
输入:OV5640摄像头或动态彩条,分辨率1280x720@30Hz;
输出:3G-SDI,分辨率1920x1080@60Hz;
SDI视频解串方案:Xilinx–GTP高速接口解串;
SDI视频解码方案:Xilinx–SMPTE SD/HD/3G SDI解码;
图像缩放方案:自研纯Verilog图像缩放;
图像缩放实例:1280x720缩放到1920x1080;
缓存方案:自研FDMA方案;
缓存介质:DDR3;
工程作用:此工程目的是让读者掌握Xilinx–Artix7低端系列FPGA实现Sensor转SDI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
开发板FPGA型号:Xilinx-Artix7-100T–xc7a100tfgg484-2;
开发环境:Vivado2019.1;
输入:HDMI(笔记本输入模拟Sensor)或动态彩条,分辨率1920x1080@60Hz;
输出:3G-SDI,分辨率1920x1080@60Hz;
SDI视频解串/串化方案:Xilinx–GTP高速接口;
SDI视频编解码方案:Xilinx–SMPTE SD/HD/3G SDI IP核;
缓存方案:自研FDMA方案;
缓存介质:DDR3;
工程作用:此工程目的是让读者掌握Xilinx–Artix7低端系列FPGA实现Sensor转SDI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
开发板FPGA型号:Xilinx-Artix7-100T–xc7a100tfgg484-2;
开发环境:Vivado2019.1;
输入:HDMI(笔记本输入模拟Sensor)或动态彩条,分辨率1920x1080@60Hz;
输出:HD-SDI,分辨率1280x720@60Hz;
SDI视频解串/串化方案:Xilinx–GTP高速接口;
SDI视频编解码方案:Xilinx–SMPTE SD/HD/3G SDI IP核;
图像缩放方案:自研纯Verilog图像缩放;
图像缩放实例:1920x1080缩放到1280x720;
缓存方案:自研FDMA方案;
缓存介质:DDR3;
工程作用:此工程目的是让读者掌握Xilinx–Artix7低端系列FPGA实现Sensor转SDI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
3:如果你的vivado版本高于本工程vivado版本,解决如下:
打开工程后会发现IP都被锁住了,如下:
此时需要升级IP,操作如下:
如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;
1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;
需要准备的器材如下:
FPGA开发板;
SDI摄像头或HDMI转SDI盒子;
SDI转HDMI盒子;
HDMI显示器;
我的开发板了连接如下:
以工程源码1为例,输出如下:
Zynq-SDI-视频发送
福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
此外,有很多朋友给本博主提了很多意见和建议,希望能丰富服务内容和选项,因为不同朋友的需求不一样,所以本博主还提供以下服务:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。