PCIe 是什么 ? -- 基本知识

1. 概述

    1）PCIe(Peripheral Component Interconnect Express)是继ISA和PCI总线之后的第三代I/O总线。一般翻译为周边设备高速连接标准。

    2）PCIe协议是一种端对端的互连协议，提供了高速传输带宽的解决方案。目前PCIe已经发展到第四代PCIe4.0, 每一代的发展，最明显的特征就是速率翻倍。

    3）是Intel公司1991年推出的。批准组织：PCI SIG (PCI兴趣小组)

    4）一个x16插槽可以运行x1、x2、x4、x8、x16的卡

 

2. PCIe 布线规则

1. 从金手指边缘到PCIe芯片管脚的走线长度应限制在4英寸（约100MM）以内。
2. PCIe的PERP/N，PETP/N，PECKP/N是三个差分对线，注意保护（差分对之间的距离、差分对和所有非PCIe信号的距离是20MIL，以减少有害串扰的影响和电磁干扰（EMI）的影响。芯片及PCIe信号线反面避免高频信号线，最好全GND）。
3. 差分对中2条走线的长度差最多5MIL。2条走线的每一部分都要求长度匹配。差分线的线宽7MIL，差分对中2条走线的间距是7MIL。
4. 当PCIe信号对走线换层时，应在靠近信号对过孔处放置地信号过孔，每对信号建议置1到3个地信号过孔。PCIE差分对采用25/14的过孔，并且两个过孔必须放置的相互对称。
5. PCIe需要在发射端和接收端之间交流耦合，差分对的两个交流耦合电容必须有相同的封装尺寸，位置要对称且要摆放在靠近金手指这边，电容值推荐为0.1uF。
6. SCL等信号线不能穿越PCIe主芯片。

 

3. PCIe 分类、速度

按lane( 车道 --> 通道 )的个数分有 x1 x2 x4 x8 x16 （最大可支持32个通道）

按代来分 有 gen1 gen2 gen3 gen4 gen5

 

速度：

PCIe 与 PCI 之间的区别 

 

 

 

 

 

 

 

点对点拓扑是什么样的？

 

PCIe的物理连接方式：

 

5. 编码方式介绍

PCIe gen1 和 PCIe gen2 采用的编解码方式是 8b/10b，PCIe gen3 和 之后的 采用的是 128b/130b 的编码方式。

8b/10b 意思是说，当我们要传输8b的数据时，实际在通道上传输的是10b的数据，解码的时候，我们希望得到的是8b的有效数据。这样，相当于有效的带宽是实际带宽的 80%。

同理128b/130b，是传输128bit数据实际线路中传输的是130bit数据。

速率图中的单位间的关系：

传输速率单位 GT/s，表示 千兆传输/秒，是实际每秒传输的位数，他不包括额外吞吐量的开销位。

两个例子：

PCIe gen1 x1 传输速率 2.5GT/s = 2500MT/s = ( 2500 / 10 ) MB/s

PCIe gen3 x1 传输速率 8GT/s = 8000MT/s = ( 8000 / 130 ) x ( 128/8 ) MB/s= 984.6153... MB/s

 

 

6. inbound 和 outbound

在PCIe设备和系统内存互相访问时，outbound是指CPU到设备方向；inbound指Device--> RC(CPU端）方向。从这个概念上说，设备（device）都是外部的，没有内部设备之说。CPU读写RC 端的寄存器时，还是属于片上系统的范围，所以既不是inbound 也不是outbound。

 

7. PCI 配置空间

PCI设备拥有256B的配置空间，PCIe还提供另外4KB的扩展，这256B的配置空间中前64B是规范了的，其他的字节是各个厂商自己定义的。

 

 

7.1 PCI 设备的地址组成

① 总线号 --- 厂家ID

② 设备号 --- 设备ID

③ 功能号 --- 设备类

查看PCI设备的工具是 lspci

使用工具 lspci 查找 ①②③

>lspci

 

 

上边输出的每行开头逻辑地址(XX:YY.Z)分别表示①②③，

其中一个PCI域能容纳 256 个总线，

每个总线可以支持 32 个PCI设备，

每个PCI设备可容纳 8 个PCI功能

> lspci -t (以树状结构显示)

> lspci -x (打印出配置空间前64字节的内容)

> lspci -s (指定哪个)

 

 

挑选一个 VGA compatible controller，如下

> lspci -s 01:00.0 -vxx

 

字节序是小端格式，

[ 0 - 1 ] 表示的是厂家 ID，上图的是 0x10de

[ 2 - 3 ] 表示的是设备 ID，上图的是 0x0659

[ 9 - 11 ] 表示的是设备类型代码，上图的是 0x030000

[14]表示的是设备类型，00表示普通端点设备；01表示Bridge设备；02表示CardBus bridges

 

使用命令查询PCI设备的厂商号和设备号

> lspci -n -s 01:00.0

列出格式 【设备类型：厂商ID：设备ID】

设备类型介绍：

设备类型可以在 http://pci-ids.ucw.cz/read/PD 网站进行查询，包括 classes、subclasses、Program interfaces 三部分，上图中的设备类型是 030000依次对应下图，03是 Device classes，00是Device subclasses，00是Program interfaces

 

7.2 基地址/BAR

BAR0: 0XF6000000

BAR1: 0XC000000C

....

BAR5:0X0000E001

有6个BAR空间，每个BAR记录了该设备映射的一段地址空间，为了区分 IO空间和 IO内存，分开描述如下：

当BAR的最后一位为0，如下图，表示这是映射的IO内存，1-2位表示内存的类型，00=任意32位地址，01=少于1M，10=任意64位地址，11保留。bit1为1表示区间大小超过1M，为0表示不超过1M。bit3表示是否支持可预取。

如上例子中，BAR0是 映射的IO内存，32位地址，不超过1M，不支持预取。

BAR1(最后几位0110)也是映射的IO内存，64位地址，区间大小超过1M，不支持预取。

 

 

 

当BAR的最后一位为1，如下图，表示这是映射的IO地址空间。上边例子中的BAR5(最后一位是1)是映射的是IO地址空间，基地址是 0x0000e

 

中断

由配置空间的IRQ Pin决定是否支持中断，1表示支持，0表示不支持，加入支持，IRQ Line是中断号。

上边的例子中支持中断号，中断号是0x0b

 

 

访问PCI

PCI设备包含3个寻址空间：配置空间、I/O端口 和 设备内存。

 

驱动中操作 PCI 的配置区（上边讨论的64B的空间）

pci_read_config_[byte|word|dword](struct pci_dev *pdev, int offset, int *value);

pci_write_config_[byte|word|dword](struct pci_dev *pdev, int offset, int value);

offset, 想访问的配置空间中字节位置

value, 对read函数来说，用于存放读回来的数据

对write函数来说，是要写进去的值(这个int.....)

 

驱动中操作 I/O和内存

I/O区域包含寄存器，内存区域存放数据。

驱动中操作 PCI 的I/O和内存

unsigned long pci_resource = pci_resource_[start|len|end|flags] (struct pci_dev *pdev, int bar);

start, 区域的基地址

bar, 取值 0 - 5

 

8. PCIe 的配置空间

PCI的配置空间是256字节，即 0x00~0xFF，而PCIe的配置空间是4k字节，即 0x00~0xFFF。

 

PCIe 一共支持 256条bus，32个dev，8个fun。同PCI是一样的。共需要内存大小= 4k * 256 *32*8 = 256K Bytes = 256M，这个256M的内存空间是为PCIe设备准备的空间系统不可用。

 

PCIe设备发展向前兼容PCI，每个设备的配置空间的前256个Byte是PCI空间，后（4k-256）个Byte的空间是PCIe扩展空间

 

Root和Switch的每一个端口中都包含一个P2P桥，桥的配置空间是Type1型

 

 

 

每个Type1型的Header中都包含最后一级总线号（Subordinate Bus Number）、下一级总线号（Secondary Bus Number）和上一级总线号（Primary Bus Number）等信息。当配置请求进行BDF路由的时候，正是依靠这些信息来确定要找的设备的。

9. PCIe 属性

服务质量(Qos)

决断振幅和带宽

。。。 如下截图

 

10. FAQ

TLP 和 DLLP 是什么？

TCP 是 事务层包的简写，结构下图

 

相关介绍网站：https://www.eefocus.com/chengjun1234/blog/17-01/402890_af2db.html

 

Capability是什么？

Capability是device通过在4k Byte的Configuration Space里告诉host它支持哪些特性的，而Capability又大致分为基本的Capability与之后扩展的Capability，在使用4K的配置空间时两者大同小异，都是采用链表形式来自定义Capability的位置的，唯一的区别是后者种类多，且不同厂商所支持的Capability有很大区别。如下图为Configuration Space的基本架构——0-3Fh（PCI Head域），40h-FFh(基本Capability区域)，100-FFF(扩展Capability区域)。

基本的Capability

Capability point是在0-3Fh（PCI Head域），偏移为34h，用于存放第一个Capability的偏移量，偏移量的范围是40h-FFh(基本Capability区域)，这段区间可任意让你分配各种基本Capability。

 

扩展的Capability

 

 

第一个扩展Capability默认就从100h的偏移位置开始放置，而不是像基本的Capability那样从34h通过指针指过来。

 

PCI总线空间与处理器空间隔离

PCI设备具有独立的地址空间，即PCI总线地址空间，该空间与存储器地址空间通过HOST主桥隔离。处理器需要通过HOST主桥才能访问PCI设备，而PCI设备需要通过HOST主桥才能访问主存储器。

处理器访问PCI设备时，必须通过HOST主桥进行地址转换，反过来也是。HOST主桥的一个重要作用就是将处理器访问的存储器地址转换成PCI总线地址。

 

 

参考：

https://wenku.baidu.com/view/57e8a167650e52ea54189824.html

https://www.cnblogs.com/lybinger/p/5276568.html

https://zhuanlan.zhihu.com/p/41322443

http://xilinx.eetrend.com/d6-xilinx/blog/2018-08/13327.html

https://blog.csdn.net/mikedadong/article/details/96568236

http://www.voidcn.com/article/p-fkyvlfjf-bau.html

https://blog.csdn.net/linuxxulin/article/details/85330465