TVM编译器原理与实践_tvm编译器原理与实践下载

【文末送书】今天推荐一本深度学习领域编译器好书《TVM编译器原理与实践》

适读人群 ：从事AI算法，软件，AI芯片，编译器开发工程技术人员

内容简介

TVM（Tensor Virtual Machine, 张量虚拟机）是一种开源的模型编译框架，旨在将机器学习模型自动编译成可供下层硬件执行的机器语言，从而利用多种类型的算力。其工作原理是，先将深度学习模型进行优化推理、内存管理与线程调度，再借用LLVM框架将模型部署在CPU、GPU、FPGA、ARM等硬件设备上。

本书全面解析TVM的主要功能，帮助读者理解TVM工作原理，以及使用 TVM对深度学习与机器学习进行优化与部署。

本书结合作者多年的工作与学习经验，力求将TVM基础理论与案例实践融合在一起进行详细讲解。全书共9章，包括TVM基本知识，使用TVM开发，算子融合与图优化，TVM量化技术，TVM 优化调度，Relay IR，代码生成，后端部署与OpenCL（Open Computing Language，开放运算语言），自动调度、自动搜索与成本模型。各章除了包含重要的知识点和实践技能外，还配备了精心挑选的典型案例。

本书适合从事AI算法、软件、编译器开发以及硬件开发等专业的工程技术人员、科研工作人员、技术管理人员阅读，也可以作为编译器相关专业高校师生的参考用书。

序言

人工智能（Artificial Intelligence，AI）已经在全世界信息产业中获得广泛应用。深度学习模型推动了AI技术革命，如 TensorFlow、PyTorch、MXNet、Caffe等。大多数现有的系统框架只针对小范围的服务器级 GPU进行过优化，因此需要做很多的优化努力，以便在汽车、手机端、物联网设备及专用加速器（FPGA、ASIC）等其他平台上部署。随着深度学习模型和硬件后端数量的增加，TVM构建了一种基于中间表示 (IR)的统一解决方案。TVM不仅能自动优化深度学习模型，还提供了跨平台的高效开源部署框架。

有了TVM的帮助，只需要很少的定制工作，就可以轻松地在手机、嵌入式设备甚至浏览器上运行深度学习模型。TVM 还为多种硬件平台上的深度学习计算提供了统一的优化框架，包括一些有自主研发计算原语的专用加速器。TVM是一个深度学习编译器，所有人都能随时随地使用开源框架学习研发。围绕TVM形成了多元化社区，社区成员包括硬件供应商、编译器工程师和机器学习研究人员等，共同构建了一个统一的可编程软件堆栈，丰富了整个机器学习技术生态系统。

TVM是一个新型的AI编译器，广泛应用于各种产品研发中，在企业与学术研究中有很大的影响。但是，目前市面上有关TVM的书还很少，本书试图弥补这个空缺。全书的特点总结如下：

第一，从TVM的概念入手，分析了TVM的基本原理和关键支撑技术。

第二，从TVM的环境搭建到案例实践逐步展开，分析如何使用TVM进行实战开发。

第三，介绍了TVM的重要关键技术，如算子与图融合、量化技术、Relay IR（中间表示）、优化调度、编译部署等，分析了这些模块的理论与案例实践。

第四，TVM对后端相关的技术进行了分析与实践，包括代码生成、自动调度、自动搜索与成本模型等。

本书的写作过程中，得到了家人的全力支持，在此，对他们表示深深的感谢。也感谢机械工业出版社的编辑们，因为有他们的辛勤劳作和付出，本书才得以顺利出版。由于编者技术能力有限，书中难免存在纰漏，还望广大读者不吝赐教。

作者简介

吴建明，上海交通大学模式识别与智能系统专业博士毕业。长期从事人工智能芯片设计，尤其擅长TVM/LLVM编译器、AI框架、自动驾驶、芯片制造，嵌入式系统等领域的理论研究与技术创新。长期在一线工作，包括产品设计与代码实现等，主持和参与过30多项产品的研发。还参与过国家自然科学基金、上海市科委项目，并在核心期刊公开发表过8篇论文，其中6篇是第一作者。

图书目录

第1章 TVM基本知识/

1.1TVM基本原理/

1.1.1TVM概述/

1.1.2TVM 模型优化部署概述/

1.2TVM编译过程/

1.2.1编译流程/

1.2.2TVM编译数据结构/

1.2.3TVM编译数据处理/

1.2.4TVM的Pass过程/

1.3TVM开源工程逻辑架构/

1.3.1代码库代码结构/

1.3.2代码自动内核/

1.4TVM应用支持/

1.4.1TVM的工作流程/

1.4.2支持多语言与多平台/

1.4.3TVM应用场景/

1.4.4TVM优化模型推理/

1.4.5TVM编译器与运行时组件/

1.4.6TVM运行时主要模块/

1.4.7TVM简单代码生成编译示例/

1.4.8TVM各模块之间的关系/

1.5TVM特色与挑战/

1.5.1TVM特色/

1.5.2支持多种后端设备/

1.5.3TVM应对的挑战/

第2章 使用TVM开发/

2.1配置TVM环境/

2.1.1apache TVM源码下载/

2.1.2配置TVM的开发环境/

2.1.3TVM conda环境使用方法/

2.1.4编译实现/

2.1.5导入模型方法/

2.2在conda环境编译优化TVM yolov3示例/

2.3Python与C++的调用关系/

2.3.1TVM中底层C++数据结构/

2.3.2进行函数注册/

2.3.3上层Python调用/

2.4TVM自定义代码示例/

2.4.1TVM如何添加代码/

2.4.2TVM代码生成实现示例/

2.5用TVM实现算法全流程/

2.5.1配置张量与创建调度/

2.5.2进行降级算子优化/

2.5.3构建host目标程序/

2.5.4实现后端代码生成/

第3章 算子融合与图优化/

3.1算子概述/

3.1.1TVM融合组件示例/

3.1.2优化计算图/

3.2图GCN融合/

3.2.1图的概念/

3.2.2深度学习新特征/

3.3图融合GCN示例/

3.3.1GCN的PyTorch实现/

3.3.2融合BN与Conv层/

3.4TVM图优化与算子融合/

3.4.1图与算子优化/

3.4.2自定义算子/

3.4.3算子融合步骤/

3.4.4向Relay中添加operator/

3.5端到端优化/

3.5.1 AI框架概述/

3.5.2计算图优化层/

3.5.3TVM算子融合的4种方法/

3.5.4数据布局转换/

3.5.5张量表达式语言/

3.5.6调度空间分析/

3.6 TVM图优化与算子融合方案分析/

3.6.1图优化框架分析/

3.6.2TVM优化基础分析/

3.6.3TVM优化参数/

3.6.4算子优化图示/

3.6.5自定义图级优化/

3.7支配树技术/

3.7.1支配树概述/

3.7.2算子融合方案及示例/

3.8控制流与优化器/

3.8.1控制流/

3.8.2优化器/

3.9TVM存储与调度/

3.9.1TVM编译器优化/

3.9.2图结构基本优化/

3.9.3张量计算/

3.10多功能张量加速器VTA/

3.10.1VTA-TVM 硬件-软件堆栈/

3.10.2VTA主要功能/

3.10.3VTA示例/

3.10.4VTA计算模块/

3.10.5VTA控制/

3.10.6microTVM模型/

3.11TVM代码库结构与示例/

3.11.1代码库结构/

3.11.2张量添加示例/

3.12主机驱动的执行/

3.12.1 firmware二进制文件/

3.12.2计算声明/

3.12.3数据平铺/

3.12.4卷积运算/

3.12.5空间填充/

第4章 TVM量化技术/

4.1TVM量化概述/

4.1.1TVM量化现状/

4.1.2TVM量化原理/

4.2int8量化与TVM执行/

4.2.1两种主要量化方案/

4.2.2int8量化原理分析/

4.2.3KL散度计算/

4.2.4实现int8量化/

4.3低精度训练与推理/

4.4NN量化/

4.4.1神经网络量化概述/

4.4.2优化数据与网络/

4.4.3前向推理与反向传播/

4.5熵校准示例/

4.6TVM量化流程/

4.6.1Relay的两种并行量化/

4.6.2Relay优化Pass方法/

4.6.3量化处理硬件说明/

4.6.4阈值估计方案/

4.6.5模拟量化误差/

4.6.6尺度计算/

4.6.7数据类型分配/

4.6.8数据类型分配日志/

4.6.9神经网络低精度量化/

4.7TVM量化程序分析/

第5章 TVM优化调度/

5.1TVM 运行时系统/

5.1.1TVM 运行时系统框架/

5.1.2PackedFunc编译与部署/

5.1.3构建 PackedFunc模块/

5.1.4远程部署方法/

5.1.5TVM 对象与编译器分析/

5.2自动微分静态图与动态图/

5.2.1计算图分类/

5.2.2动态图实现示例/

5.3机器学习自动微分/

5.3.1微分方法/

5.3.2手动微分/

5.3.3数值微分/

5.3.4符号微分/

5.3.5自动微分/

5.3.6自动微分实现示例/

5.4稀疏矩阵分析/

5.4.1稀疏矩阵概念/

5.4.2稀疏矩阵优化/

5.4.3特定矩阵压缩存储/

5.4.4稀疏矩阵实现示例/

5.5TVM张量计算分析/

5.5.1生成张量运算/

5.5.2嵌套并行与协作/

5.5.3张量化计算/

5.5.4显式内存延迟隐藏/

第6章 Relay IR/

6.1TVM数据介绍/

6.1.1TVM模块框架介绍/

6.1.2Relay IR原理简介/

6.1.3构建计算图/

6.1.4let绑定与作用域/

6.2IR代码生成/

6.2.1前端优化/

6.2.2节点优化/

6.2.3代数优化/

6.2.4数据流级别的优化/

6.3在Relay中注册算子/

6.3.1添加节点，定义编译参数/

6.3.2运算类型关系分析/

6.3.3在C++中进行RELAY_REGISTER_OP宏注册/

6.3.4算子注册与调度/

6.3.5注册函数API分析/

6.3.6将Python API打包/

6.3.7单元测试分析/

6.4TVM中IR示例/

6.4.1IRModule技术分析/

6.4.2TVM Runtime（运行时）分析/

6.4.3预测部署实现/

6.4.4动态图实现/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351

购买链接：https://item.jd.com/13978563.html

文末送书

本次活动赠书一本，参与方式：点赞收藏文章，在收藏列表随机抽取粉丝。中奖名单公布时间：2024.1.10于评论区。