zcu104 AXI DMA速度测试总结_zcu104, dma

一.前言

好久没有认真的写一些技术博客了，工作半年了，最近两个月好像才慢慢的恢复过来了，不能摸鱼了，2020年，自己的生活中会有很多可见的变化，要快速成长啊，具备与之匹配的技术和能力啊。

二.PL侧工程设置

由于项目的需要，利用一周的时间测试了zcu104开发板DMA的实际带宽。之前就用过AXI DMA做过图像处理方面的东西，还以为这次两天驾轻就熟，两天就能做好呢，结果细细的研究了一下，才发现还是有很多的坑的，学无止境啊，自己也记录一下。
工程block design的整体设计如下：
AXI DMA的配置如下：

DMA没有开启Scatter/Gather模式，只使用了DMA的简单模式，width of buffer length register 选择了24bits,因为本次测试，最大传输的数据是634*1600个，传输的数据数不能大于2^24。
zcu104使用的是zynq Ultrascale MPsoc的芯片，不同于zynq7000系列AXI_HP，AXI_GP，AXI_ACP的接口类型，AXI接口更加细化。选中与DMA相连的接口。

综合，布局布线，generate bitstream。

三.PS应用程序

PS程序也写的挺简单的，直接上代码吧。

#include <stdio.h>
#include "platform.h"
#include "xil_printf.h"
#include "xaxidma.h"
#include "xparameters.h"
 #include "xscugic.h"
#include "Xtime_l.h"
#include "sleep.h"


#define DMA_DEV_ID		        XPAR_AXIDMA_0_DEVICE_ID
#define wt_INTR_ID		        XPAR_FABRIC_AXIDMA_0_S2MM_INTROUT_VEC_ID
#define rd_INTR_ID		        XPAR_FABRIC_AXIDMA_0_MM2S_INTROUT_VEC_ID
#define INTC                    XScuGic
#define INTC_DEVICE_ID          XPAR_SCUGIC_SINGLE_DEVICE_ID
#define DMA_0_BASE_ADDR         0x1000000
#define Trans_Len               (634*1600)*4  //这里要乘以4，因为一个32位的数据占用4个地址空间
#define CPU_COUNTS_PER_SECOND    COUNTS_PER_SECOND



static int SetupIntcSystem(INTC * IntcInstancePtr,
			   XAxiDma * AxiDmaPtr, u16 TxIntrId, u16 RxIntrId);
static int TxIntrHandler(void *param);//read
static int RxIntrHandler(void *param);//write

XTime Tsetup_wr,Tend_wr,Tsetup_rd,Tend_rd;
static XAxiDma AxiDma;
u32 *wr_dma_ptr;
u32 *rd_dma_ptr;


int main()
{
//====================================
	XAxiDma_Config *config = NULL;
	int status;
	static INTC intc;

	wr_dma_ptr = (u32 *)DMA_0_BASE_ADDR;
	rd_dma_ptr = (u32 *)DMA_0_BASE_ADDR;

    printf("zcu104 DMA test begin!!!\n\r");

	config = XAxiDma_LookupConfig(DMA_DEV_ID);
    if(!config){
    	printf("ther is no DMA Dev found!!!\n\r");
    	return XST_FAILURE;
    }
    status = XAxiDma_CfgInitialize(&AxiDma,config);//config->AxiDma
    if(status != XST_SUCCESS){
    	printf("Initialization failed \n");
    	return XST_FAILURE;
    }
    if(XAxiDma_HasSg(&AxiDma)== TRUE){
    	printf("Device configured as SG mode \n");
    }
    else{
    	printf("Device configured is NOT SG mode \n");

    }
//设置 DMA的中断
   status = SetupIntcSystem(&intc,&AxiDma,rd_INTR_ID,wt_INTR_ID);
   if(status != XST_SUCCESS){
	   printf("DMA intc failed!!!\n");
	   return XST_FAILURE;
   }
   //=====================================================================test time
   XTime T1,T2;
   u32 T3;
	XTime_GetTime(&T1);
	usleep(1314);
	XTime_GetTime(&T2);
	T3 = ((T2-T1)*1000000)/CPU_COUNTS_PER_SECOND;
	 printf("elapsed time is %d us  \n\r",T3);
   //=======================================================================

	/* Disable all interrupts before setup */
   XAxiDma_IntrDisable(&AxiDma,XAXIDMA_IRQ_ALL_MASK,XAXIDMA_DMA_TO_DEVICE);
   XAxiDma_IntrDisable(&AxiDma,XAXIDMA_IRQ_ALL_MASK,XAXIDMA_DEVICE_TO_DMA);
   /* Enable all interrupts */
   XAxiDma_IntrEnable(&AxiDma,XAXIDMA_IRQ_ALL_MASK,XAXIDMA_DMA_TO_DEVICE);
   XAxiDma_IntrEnable(&AxiDma,XAXIDMA_IRQ_ALL_MASK,XAXIDMA_DEVICE_TO_DMA);
//----------------------------flush cathe before setup DMA trans
   XTime_GetTime(&Tsetup_wr);
   Xil_DCacheFlushRange((INTPTR)wr_dma_ptr,Trans_Len);
   status = XAxiDma_SimpleTransfer(&AxiDma,(INTPTR)wr_dma_ptr,Trans_Len,XAXIDMA_DEVICE_TO_DMA);
   if(status != XST_SUCCESS){
	   printf("setup data write to DMA failed!!!\n");
	   return XST_FAILURE;
   }
   else{
	   printf("setup data write to DMA success !!!\n");
   }

sleep(1);
//after trans data to DDR,start reading from DDR
  XTime_GetTime(&Tsetup_rd);
  status = XAxiDma_SimpleTransfer(&AxiDma,(INTPTR)rd_dma_ptr,Trans_Len,XAXIDMA_DMA_TO_DEVICE);
  if(status != XST_SUCCESS){
	   printf("setup read data from DMA failed!!!\n");
	   return XST_FAILURE;
  }
  else{
	   printf("setup read data from DMA success!!!\n");
  }
while(1){


};

    return 0;
}

static int SetupIntcSystem(INTC * IntcInstancePtr,
			   XAxiDma * AxiDmaPtr, u16 TxIntrId, u16 RxIntrId){
	int Status;
	XScuGic_Config *IntcConfig;

		/*
		 * Initialize the interrupt controller driver so that it is ready to
		 * use.
		 */
		IntcConfig = XScuGic_LookupConfig(INTC_DEVICE_ID);
		if (IntcConfig == NULL) {
			print("INTC device ID is wrong!!!\n");
			return XST_FAILURE;
		}

		Status = XScuGic_CfgInitialize(IntcInstancePtr, IntcConfig,
						IntcConfig->CpuBaseAddress);
		if (Status != XST_SUCCESS) {
			return XST_FAILURE;
		}


		XScuGic_SetPriorityTriggerType(IntcInstancePtr, RxIntrId, 0xA0, 0x3);
		XScuGic_SetPriorityTriggerType(IntcInstancePtr, TxIntrId, 0xA0, 0x3);//MM2S 03为上升沿触发中断
		/*
		 * Connect the device driver handler that will be called when an
		 * interrupt for the device occurs, the handler defined above performs
		 * the specific interrupt processing for the device.
		 */

		Status = XScuGic_Connect(IntcInstancePtr, RxIntrId,
					(Xil_InterruptHandler)RxIntrHandler,
					AxiDmaPtr);
		if (Status != XST_SUCCESS) {
			return Status;
		}
		Status = XScuGic_Connect(IntcInstancePtr, TxIntrId,
					(Xil_InterruptHandler)TxIntrHandler,
					AxiDmaPtr);
		if (Status != XST_SUCCESS) {
			return Status;
		}


		XScuGic_Enable(IntcInstancePtr, RxIntrId);
		XScuGic_Enable(IntcInstancePtr, TxIntrId);

		/* Enable interrupts from the hardware */

		Xil_ExceptionInit();
		Xil_ExceptionRegisterHandler(XIL_EXCEPTION_ID_INT,
				(Xil_ExceptionHandler)XScuGic_InterruptHandler,
				(void *)IntcInstancePtr);

		Xil_ExceptionEnable();
		//====================================

		return XST_SUCCESS;
	}




static int RxIntrHandler(void *param){
	u32 Tuse;
	int Speed_wr_DMA;
	printf("into RxIntr process!!!\n");
	XTime_GetTime(&Tend_wr);
	Tuse = ((Tend_wr-Tsetup_wr)*1000000)/CPU_COUNTS_PER_SECOND;
    printf("wr data elapsed time is %d us \n",Tuse);
    Speed_wr_DMA = (634*1600*32/8/1024/1024*1000*1000)/Tuse;
    printf("data translate to DMA DDR is %d MB/s \n\r",Speed_wr_DMA);

//      XTime_GetTime(&Tsetup_rd);

    return XST_SUCCESS;
}

static int TxIntrHandler(void *param){
	u32 Tuse;
	int Speed_rd_DMA;
	printf("into TXIntr process!!!\n");
	XTime_GetTime(&Tend_rd);
	Tuse = ((Tend_rd-Tsetup_rd)*1000000)/CPU_COUNTS_PER_SECOND;
    printf("read data elapsed time is %d us \n",Tuse);
    Speed_rd_DMA = (634*1600*32/8/1024/1024*1000*1000)/Tuse;
    printf("read data from DMA DDR is %d MB/s \n\r",Speed_rd_DMA);


    //    printf("read data from DMA DDR is %d  \n\r",Tsetup_rd);
//    printf("read data from DMA DDR is %d  \n\r",Tend_rd);
    return XST_SUCCESS;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207

关于cache一致性，CPU在访问内存时，首先判断所要访问的内容是否在Cache中，如果在，就称为“命中（hit）”，此时CPU直接从Cache中调用该内容；否则，就 称为“ 不命中”，CPU只好去内存中调用所需的子程序或指令了。CPU不但可以直接从Cache中读出内容，也可以直接往其中写入内容。由于Cache的存取速 率相当快，使得CPU的利用率大大提高，进而使整个系统的性能得以提升。
Cache的一致性就是直Cache中的数据，与对应的内存中的数据是一致的。DMA是直接操作总线地址的，这里先当作物理地址来看待吧（系统总线地址和物理地址只是观察内存的角度不同）。如果cache缓存的内存区域不包括DMA分配到的区域，那么就没有一致性的问题。但是如果cache缓存包括了DMA目的地址的话，会出现什么什么问题呢？
问题出在，经过DMA操作，cache缓存对应的内存数据已经被修改了，而CPU本身不知道（DMA传输是不通过CPU的），它仍然认为cache中的数 据就是内存中的数据，以后访问Cache映射的内存时，它仍然使用旧的Cache数据。这样就发生Cache与内存的数据“不一致性”错误。所以，在使用DMA写入/读取内存中的一段区域的时候，应该告诉CPU这段区域不能的cache无效了，也就是把cache中的数据送还到内存中，使用的函数是
:

   Xil_DCacheFlushRange((INTPTR)wr_dma_ptr,Trans_Len);
1

要注意DMA操作DDR3，CPU是不知道的，要用dcacheflush及时刷新。这个刷新速度很慢的，要注意控制刷新的长度。

关于中断，硬件工程师还是有点没完全弄懂啊，在这里有个提醒吧，可千万别配置完DMA传输就直接return 0了，return 0之后就再也不会进去中断了TT

四. 注意事项

配置完成AXI DMA开始进行测试的时候，发现DMA的时序和我想象中的有些不一样。
（1）关于DMA的tready信号
之前一直脑补的是，在PS配置完DMA IP核的相关寄存器后，tready信号才拉高，数据传输开始进行。但是用逻辑分析仪抓取信号之后，发现不是这样的。

上图是上电后，PS进行debug，烧写bit文件之后的相关时序。注意，还没有开始执行main.cpp程序。刚烧写进去，还没有DMA进行配置，由上面数据的计数可知，tready已经有了4个clock的高电平了。但是这4个数据并没有被读入DDR中，而是在配置DMA传输中丢失了。个人分析原因，是因为PL端的配置速度比PS端快的多，当烧写工程文件进行整个系统的初始化时，PL很快就完成了初始化配置，但是PS较慢。

在PS对DMA进行配置后，还会有4个clock 的tready高电平信号，此时这4个数据可以被正确地写入到DDR中去。发送数据tlast后，也会有额外的4个clock 的tready高电平信号，也可以被正确的写入，所以理论上应该每次发送时，都会有4个数据被提前写入。

解决 AXI DMA发送丢失4个数据的方式，可以通过s2mm_introut或者PS驱动GPIO的方式，告诉上一级数据源，PS已经完成对AXI DMA的配置，然后开始发送数据。

（2）读写数据的实际数据长度
在每次DMA IP进行数据传输之前，都需要配置一次DMA相关的寄存器，告诉本次传输的起始地址、数据长度和方向。在MM2S通道，配置要读取的数据长度，很好理解。DMA 需要根据用户配置的数据长度来产生tlast信号。但是在S2MM通道，配置要写入内存的数据长度，在用户看来，其实并不太必要，因为一方面，每一帧传输的数据量可能并不固定，在传输之前未知；另一方面，DMA IP核完全可以根据PL端送来的tlast信号来判断数据传输完成。所以，DMA S2MM通道配置的数据长度，其实并不一定是本次传输的准确值，只需要大于等于本次数据量，DMA根据tlast信号判断本帧数据是否结束，完成本数据传输后，DMA会将本次传输真实的数据量写入数据长度配置寄存器S2MM_LENGTH中。

详细的说明如下：

Xilinx的例程代码向来都是异常复杂，调到最后不免都要去看寄存器，翻阅手册我们看到DMA简单模式如何使用。要注意，MM2S是说 memory map to stream，S2MM是stream to memory map，memory map当然是指DDR3内存了，根据名称我们就知道MM2S是说DMA把数据从DDR3搬移到stream FIFO中。 从下面手册中我们看到了寄存器偏移地址从00h-28h 是mm2s的，30h-58h是s2mm的。30h是CR寄存器，有RS，reset等寄存器位，后面都有说明。

判断DMA发送的SR寄存器idle是否为1，为1则idle，说明发送结束。

while (XAxiDma_Busy(&AxiDma,XAXIDMA_DMA_TO_DEVICE))
1

a.不使能scatter gather和miro DMA，使用简单模式，前者可以配置多个地址，一次开启多次传输。width of buffer length register这个是指接收或发送的最长长度，14位最大就是16384，实际上在函数中判断是16383，该参数设置过长， XAxiDma_SimpleTransfer函数就会返回一个错误。

b.address width是32位，就是对应到DDR3上，一次操作是32bit。read channel 和write channel很不好记，要理解DMA工作时是独立于CPU的，DMA读写都是指对DDR3的操作，由于我的应用是从底层产生数据存到FIFO中，等DMA来读取，因此只需要开启写DDR3通道即可。

c.max burst size，突发传输长度。突发的意思，就是传送一次地址，取多个数据的长度。这一点不好理解：当CPU通过AXI lite写DMA寄存器开启DMA接收后，DMA的tready拉高，开始传输数据，每接收到突发长度后，拉低一次tready，把数据写到DDR3中，写完之后再拉高再接收数据。

d.allow unaligned transfers。地址对齐，这个很重要，发送和接收通道都有，不开启，你发送和接收都必须要从4byte对齐的位置开始，必须从0x00,0x04,0x08等位置发送或接收，否则DMA不会正常工作。

我们再回去看接收的编程说明。

a.写S2MM_DMACR.RS =1，然后DMASR.Halted = 0 ，DMA表示在运行了。

b.写目的地地址到DA寄存器中。

c.写LENGTH寄存器，必须要最后写。写完这个寄存器后，DMA就开始传输了。传输完毕后，该寄存器的值是实际接收到的字节数。

d.判断DMASR.idle = 1，后表示接收结束。

DMA何时结束？
DMA的读写接口都是axis stream，是强制有tlast的，就是靠tlast信号来判断接收结束的，而不是填写的length值。发送接收值，最后一个tdata会同时伴随一个tlast高电平。接收时，设置接收5000字节，并不是说接收满5000个字节就结束了，而是开启接收后，接收到1个tlast高电平就结束了，也就是说，你可能会只接收到2000个字节，手册中明确说了，当设置的length = 0，或者接收到的数据大于设置的length，就会引起DMAIntErr置1，接收错误。

所以，当设置每次接收5000字节时，tlast就应该每隔＜5000字节时插入。我的应用中，DMA前是一个AXIS DATA FIFO，写入是自定义的时序，但接收时还是报错，接收得太多了。为什么呢？因为DMA是自己拉高tready，而fifo的valid也为高就开始计数了，跟FIFO随后的valid 无关（我瞎猜的），DMA读的速度远高于我写入速度，我还没写到tlast，DMA就计数到16383了，DMA就报错，怎么办呢，开启fifo的packet模式。然后DMA接收就ok了。

最后，贴上自己测速的结果。