模型部署到移动端_模型压缩+编译器优化，使AI算法在移动端性能超越专用硬件...

作者 | 王言治，美国东北大学电子与计算机工程系助理教授 出品 | AI科技大本营(ID:rgznai100) 近年来，机器学习(Machine Learning)领域的研究和发展可谓是与日俱新，各式各样与机器学习相关的研究成果与应用层出不穷(如图像识别，自动驾驶，语音识别等)，机器学习能够处理的任务也愈发的复杂。但与此同时，新的问题也随之而来，机器学习模型变得更加庞大复杂，因实时性而对算力所产生的需求也远远超乎了我们的想象。这一问题严重阻碍了人工智能(AI)产品及应用融入到人们的日常生活中，因此亟待解决。 谷歌、微软、亚马逊、华为和苹果等科技巨头以及众多初创公司每年都会花费数以亿计的经费来研发机器学习专用硬件加速器，他们希望能够早日在边缘设备(edge device)与物联网设备(IoT device)上实现人工智能应用的部署，并将人工智能真正的带入到人们的生活中。 现今，全球有不少于100 家 的AI 芯片初创公司，各种新硬件层出不穷，从重塑可编程逻辑和多核设计(programmable logic and multi-core designs)，到开发自己的全新架构，再到使用神经形态架构(neuromorphic architectures)等。此外，我们还看到了诸如英特尔以极其高昂的价格收购了 MobilEye、Movidius 和 Altera，NVIDIA 在自动驾驶处理器方面花费了大笔的开销，谷歌开发了 TPU，各家公司都试图都在硬件上抢占先机。 这里我们不难发现，工业界目前的认知是——“硬件才是真正制约移动AI发展的主要因素”。他们缺乏对于软件以及目前所使用的通用芯片的计算资源及计算能力的信任。因此，相较于软件，他们将注意力更多地放在了开发机器学习和推理专用的硬件加速器上。 但是，在如此巨大的资金注入下，到目前为止，硬件加速仍成效甚微，我们尚未看到任何边缘 AI 硬件加速器的大规模部署。这不禁令人深思，专用硬件加速真的是正确的道路吗？软件能否成为移动 AI 时代的主导？ 从各大公司的角度来看，如果想要让自家的AI产品或应用迅速落地抢占市场，设计专用的芯片或硬件显然并不是最优选择。众所周知，芯片以及硬件的开发成本非常高昂，且开发周期漫长，并非所有公司都可以承受。若是选用第三方提供的AI加速硬件，则可能会面临诸如成本增加，兼容性等一系列问题。而设计专用软件则不同，它的开发成本低廉，容易实现快速部署，可以做到针对性优化，且通常具有完备的生态系统。 从大众的角度来看，若想让AI产品或应用真正融入人们的日常生活，那么它至少需具备几个特点，价格低廉、随时随地、方便快捷。价格低廉就不必多说了，很多AI产品和应用都会给人们的生活带来更大的便利，但这更多的是锦上添花而非必不可少，而使用专用硬件加速器无疑会增加产品的成本，所以人们究竟会不会为这一成本增加而买单、究竟可以接受的尺度有多大&