DSP与FPGA的SRIO通信实现_dsp与dsp之间的srio如何配置实现通信

引言

  本文主要介绍在FPGA和DSP之间实现SRIO通信的过程。FPGA和DSP的型号分别为JFM7VX690T80-AS（XC7VX690T）和TMS320C6455。目前实现的是两者互相交替发送门铃事务，系统功能示意图如下图：

参考资料：
SPRAA89A - TMS320C6455 Design Guide and Comparisons to TMS320TC6416T
DS183 - Virtex‐7 T and XT FPGAs Data Sheet:DC and AC Switching Characteristics
ANTC206 - Differential Clock Translation
PG007 - Serial RapidIO Gen2 Endpoint v4.1 LogiCORE IP Product Guide
SPRU976E - TMS320C645x DSP Serial RapidIO (SRIO)

硬件连接

  链路之间的连接采用100nF电容耦合，主要是不同的器件需要的时钟类型可能不同，需要注意。TMS320C6455需要采用LVDS或者LVPECL逻辑电平标准的差分时钟。而当时我们整个系统里的另一个处理器需要的是HCSL类型的时钟，两者不能直接兼容，需要在电路上做一些处理。

  HCSL类型时钟转LVDS类型时钟，参考ANTC206，用的是下图中的电路。原理是另外引入3.3V，并用电阻分压，得到LVDS类型时钟的1.2V的共模电压，实际测试时发现，TMS320C6455的差分输入阻抗已经是100Ω，因此外面不需要再挂100Ω。

  FPGA的GTX和GTH对参考时钟输入的电气要求比较松，只需要是电容耦合，并且差分电压的峰峰值在350mV~2000mV之间即可。HCSL类型的差分时钟电压峰峰值为1400mV（单端700mV），因此满足输入条件。

FPGA端实现

  FPGA端实现SRIO主要参考PG007这个文档。SRIO的IP的配置可以很简单，主要就是把链路数量、链路的速率和参考时钟频率配置一下，记住它的Device ID即可。

  IP实例化的时候，信号非常多，但是比较有用的就是四个AXI4-Stream端口，ireq，iresp，treq和tresp。用来发送和接收事务包。其余的都是IP的输出信号，方便观察调试，查找问题。下面是SRIO实例化代码的一部分，sys_clk是外部输入的参考时钟，IP能够输出log_clk给用户实现自己的逻辑。

    .sys_clkp(sys_clkp),                            // input wire sys_clkp
    .sys_clkn(sys_clkn),                            // input wire sys_clkn
    .sys_rst(~sys_rst),                             // input wire sys_rst

    .log_clk_out(log_clk),                          // output wire log_clk_out
    .log_rst_out(log_rst),                          // output wire log_rst_out
    .clk_lock_out(clk_lock_out),                    // output wire clk_lock_out
    .mode_1x(mode_1x),                              // output wire mode_1x
    .port_error(port_error),                        // output wire port_error
    .gtrx_disperr_or(gtrx_disperr_or),              // output wire gtrx_disperr_or
    .gtrx_notintable_or(gtrx_notintable_or),        // output wire gtrx_notintable_or
    .deviceid(deviceid),                            // output wire [15 : 0] deviceid
    .port_decode_error(port_decode_error),          // output wire port_decode_error
    .link_initialized(link_initialized),            // output wire link_initialized
    .port_initialized(port_initialized),            // output wire port_initialized
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

• link_initialized和port_initialized指示链路和端口是否初始化完成
• deviceid就是我们在IP配置中设置的值，会用在事务包的发送和接收中。
• mode_1x指示当前工作在1x模式
• port_error，port_decode_error，gtrx_disperr_or，gtrx_notintable_or用来指示是否出现错误。具体错误信息可以查PG007。

	.sim_train_en(1'b0),                            // input wire sim_train_en
    .phy_mce(1'b0),                                 // input wire phy_mce
    .phy_link_reset(1'b0),                          // input wire phy_link_reset
    .force_reinit(1'b0),                            // input wire force_reinit
1
2
3
4

  另外有这四根线是输入，可以给常量。一开始我直接把仿真例程搬过来用的时候没有给sim_train_en置零，导致链路一直有问题。其余的输出信号都可以悬空，
  还有一个我遇到的问题是，当时没注意到这个sys_rst是高电平复位，我直接把接了外部复位按键的Pin接到了sys_rst上，而电路上做的是低电平复位，导致没有按键按下的时候IP一直处在复位状态。所以这里对外部输入的复位取反（~sys_rst）。
  FPGA的实现总体来说比较简单，就只要发送门铃后等待门铃，接收门铃的时候发送响应，再接着发送门铃就行。发送事务的过程都是通过AXI4-Steam的接口，基本不会有问题。
  只是在工程最后输出bitstream文件的时候出了问题，提示需要购买license，参考这篇文章即可解决。

DSP端实现

DSP端的软件流程图如下图所示。程序的编写和调试主要是参考SPRU976E。

初始化

  从SRIO的初始化开始，只要能建立链路连接，就成功了一大半。
  首先要弄清楚C6455的SRIO的工作模式。下面的表格里给出了它有两种工作模式。

• 1x/4x：工作在1条或者4条链路的模式，其中1条链路的情况下，可以是lane0或者lane2。也就是0~3四条链路中只有0和2两条链路作为单条链路进行通信；
• 1x/1x：只能工作在1x模式，就是四条链路都是独立的。
  

  然后具体到代码配置过程中，下面的1x/4p让我误以为是4个端口都工作在1x模式，而实际上这里的1x/4p就是前面的1x/4x模式。我们的需求是把四条链路都独立使用，因此需要按照1x/1x的方式进行配置。

  工作模式配置在PER_SET_CNTL寄存器中的BOOT_COMPLETE置一的时候就生效。就是当这一位置一时，C6455就开始对端口进行初始化。而后就不能再去修改工作模式了。CSL中自带的CSL_srioHwSetup函数上来就对BOOT_COMPLETE进行写入（写0或是写1取决于用户的配置）
  一般情况下，如果直接写“1”，那么它就直接工作在1x/4x模式了；如果直接写“0”，那就是不起作用，同时可以对其它的寄存器做修改，如果想让其它的配置生效，就需要再写一次“1”，如此两次先后调用CSL_srioHwSetup才能将它的工作模式正确配置为1x/1x模式。
  因此需要对这部分函数做修改，为此我将SRIO的配置分为两个阶段，一个是“预设置”，CSL_srioHwPresetup完成工作模式以及其他的一些配置；另一个CSL_srioFlowCtrlEnable是对BOOT_COMPLETE置一，并且在最后启动“流控制”（PCR寄存器中的PEREN需要最后置一）。

	CSL_srioHwPresetup(hSrio, &setup);
	CSL_srioDbIntrRoute(hSrio, &DbInfo, CSL_SRIO_INTR0);
	status = CSL_srioFlowCtrlEnable(hSrio, &setup);

	if (status != CSL_SOK) {
		printf("SRIO: ... Hardwrae setup, failed\n");
		return -1;
	}
1
2
3
4
5
6
7
8

  如何判断是否初始化完成？可以通过SPn_ERR_STAT寄存器中的第1位，PORT_OK来判断。只有当PORT_OK为1时，端口之间的链路才建立起来。在调试过程中我发现通过CCS的“Registers”窗口看到的值和真实值是有区别的。我通过读取SPn_ERR_STAT寄存器中的数据，并打印到控制台上才发现虽然窗口中显示的没有变化，端口似乎还是没有初始化，但是读取数据之后打印的结果却是表明链路已经建立连接了。

	for(i = 0; i<4; i++){
		rdata = hSrio->regs->PORT[i].SP_ERR_STAT;
		rdata = (rdata & 0x00000002) >> 1;
		if(i == 3) printf("port %d OK = %d\n", i, rdata);
		else printf("port %d OK = %d, ", i, rdata);
	}
1
2
3
4
5
6

  如何判断当前链路工作在什么模式？可以通过SPn_CTL寄存器中的最高两位来判断，如果为“00”则表示当前这个端口是单链路的模式；如果为“01”，则当前是四条链路构成一个端口，而且只对于SP0_CTL有效。这里同样也会有类似上面的一样的毛病。就是CCS的Registers页面看到的值和实际值不符，需要打印输出才能看到正确的实际就结果。

	for(i = 0; i<4; i++){
		rdata = hSrio->regs->PORT[i].SP_CTL;
		rdata = (rdata & 0xC0000000) >> 30;
		printf("port %d Port Width = %d\n", i, rdata);
	}
1
2
3
4
5

  一般只要配置没问题，这个链路就能建立起来。FPGA用ILA可以看到port_initialized和link_initialized都变高，DSP可以看到PORT_OK那一位置一就没问题了。

门铃中断

  因为中断经常要用到，所以关于中断的配置这一块一定要非常熟悉才行。一个IntcObj把12个处理器中断源（VectID4~15）之一和128个Event之一联系起来，hIntc指向是IntcObj的指针。context和record是管理整个中断系统的全局变量，其中记录了所有中断服务函数的数量和函数地址。
  初始化中断控制器，首先对context初始化赋值，调用CSL_intcInit即初始化了中断向量表，但这是中断服务函数都是空的。接着使能全局中断，使能不可屏蔽中断，以上操作在整个程序中只需执行一次。而后的CSL_intcOpen则是对单个中断源进行设置，如果系统中有多个中断源，则需要类似地执行多次。CSL_intcOpen初始化了IntcObj，将128个Event之一和12个CPU中断源之一联系在一起，本质上是修改了INTMUX寄存器。CSL_intcPlugEventHandler将中断服务函数和特定的中断联系在一起，最后再使能中断（实质上是将IER寄存器中的特定bit置一），即完成了中断的配置。

CSL_IntcObj IntcObj;
CSL_IntcHandle hIntc;
CSL_IntcContext context;
CSL_IntcEventHandlerRecord record[1];
void IntcConfig()
{
	CSL_IntcParam vectID;
	CSL_Status status;
	CSL_IntcEventHandlerRecord isr_doorbell;

	context.numEvtEntries = 1;
	context.eventhandlerRecord = record;
	/*
	 * contex include a record, isr invoked from this record
	 */
	CSL_intcInit(&context);

	/*
	 * global enable and nmi enable
	 * interrupt will be enabled until enable the correspond bit in ier
	 */
	CSL_intcGlobalEnable(&state);
	CSL_intcGlobalNmiEnable();

	/*
	 * set intmux register bounding vectID and eventID
	 * when interrupt occure, cpu check intmux to determin witch interrupt occured
	 */
	vectID = CSL_INTC_VECTID_10;
	hIntc = CSL_intcOpen(&IntcObj, CSL_INTC_EVENTID_RIOINT0, &vectID, &status);

	/*
	 * isr_doorbell is a temp variable
	 * the value will copied to record
	 */
	isr_doorbell.handler = (CSL_IntcEventHandler)&Rio0InterruptHandler;
	isr_doorbell.arg = hSrio;

	/*
	 * plug interrupt handler into record
	 */
	CSL_intcPlugEventHandler(hIntc, &isr_doorbell);

	/*
	 * enable interrupt
	 */
	CSL_intcHwControl(hIntc, CSL_INTC_CMD_EVTCLEAR, NULL);
	CSL_intcHwControl(hIntc, CSL_INTC_CMD_EVTENABLE, NULL);
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

  一般的中断配置流程就像上面说的那样，但是SRIO实际上有很多中断源，但分给它的只有3个Event（3/128），分别是INTDST0、INTDST1、INTDST4。所以实际上从门铃中断到Event还有一次映射。

  这里需要配置SRIO的门铃的中断路由寄存器（ICRR），因为门铃共有64个中断源，这每个中断源都可以连接到以上三个Event之一，每次有中断发生时，用户可以通过查询的方式进一步确定发生中断的具体事件。为此，我专门写了CSL_srioDbIntrRoute函数，用于设置门铃的ICRR寄存器。而且由因为SRIO的寄存器只有在使能SRIO外设之后才能读写，所以这个函数需要在CSL_srioHwPresetup之后调用。

中断服务函数

void Rio0InterruptHandler(
	void *arg
)
{
	CSL_SrioPortData sdata;

	sdata.index = 0;
	sdata.data = 0x00000001;

	flag += 1;

	CSL_srioHwControl(hSrio, CSL_SRIO_CMD_DOORBELL_INTR_CLEAR, (void *)&sdata);
	CSL_srioIntrRateCtrl(hSrio,CSL_SRIO_INTR0,0x0000FFFF);
	CSL_intcHwControl(hIntc, CSL_INTC_CMD_EVTCLEAR, NULL);
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

  以上是一个简单的中断服务函数，主要就是令flag自增1。每次中断产生时，有三处地方产生了中断标志，SRIO的ICSR，中断控制器的EVTFLAG和CPU的IFR。其中CPU的IFR会在每次中断服务函数被调用时自动清除，而另外两处中断标志则需要由软件手动清除。以上代码中的CSL_srioHwControl和CSL_intcHwControl就是实现这么目的。
  另外SRIO还有一个中断速率控制寄存器，这个在每次中断发生后都需要向它写入一个数，即使不做中断速率控制也要写0。不然如果第二次中断标识产生了也进不了中断。调试的过程中发现，如果直接往中断速率控制寄存器中写0，程序就会反复进入这个中断服务函数。因此需要写一个较大的值，或者在中断服务函数外调用CSL_srioIntrRateCtrl。