菜鸟学院~为什么你的手机需要更强大的AI处理器？_基于ai的光学平滑变焦

三年前，AI成为了智能手机的新卖点。一时间，支持AI特性的智能手机快速普及，AI性能表现成为了继CPU、GPU之后，消费者最为关注的手机处理器参数。如今，展示AI性能已经成为了手机和手机处理器发布会上必不可少的环节。

但你是否想过，为什么需要一款AI功能强大的手机？手机里的AI处理器究竟能做些什么？
手机有哪些AI功能？

提到手机上的AI功能，不少人马上能想到的应该是——智能语音助手和AI拍照。毫无疑问，AI拍照是普通消费者使用最多的功能，功能包括AI背景虚化、AI超级夜景、AI美颜、AI降噪等。除此之外，一些常见的 AI 功能还包括人脸识别、通话降噪、翻译等。

眼下，这些常见的手机AI功能正在变得强大。举个例子，以前，手机上并不能实现自动语音识别（ASR）、离线实时语音翻译的功能，随着AI技术的进步以及硬件和软件公司合作的深入，ASR和离线实时语音翻译都可以在手机上实现，甚至还能在嘈杂的环境做出反应。

另外，在拍照方面，手机摄像头已经增加到三个甚至五个，在广角、超广角、长焦镜头之间切换的过程中，用户很容易感觉到卡顿，而高通和合作伙伴共同完成的光学变焦平滑切换解决方案，能够给用户带来基于AI的平滑变焦体验。

基于AI的光学变焦平滑切换

相比智能语音助手和拍照，有些手机上的AI功能并不容易发现。比如，全球都很流行的短视频平台抖音，出于网络带宽等方面的考虑，用户手机接收到的其实是320P分辨率的视频，但更高的分辨率意味着更好的体验，为此，字节跳动与高通深入合作，基于骁龙865进行优化，借助手机的AI处理器运行特殊神经网络（超分辨率卷积神经网络），将用户所接收到的视频从每一帧320P分辨率提升至720P，因为通过终端侧AI实现这一处理，用户也能获得更加流畅的体验。

不仅如此，AI还能用来解决让许多用户感到焦虑的电量问题。iPhone就使用AI能力来学习用户的使用习惯，从而优化充电来延长电池的使用寿命。高通也在其Quick Charge快速充电技术中将AI算法引入快速充电和放电的整套体系，通过学习用户的个性化使用习惯，比如玩游戏以及游戏持续的时间，再通过训练，Quick Charge AI 能够很好地调整整个系统的CPU包括充电效率。

这样一来，Quick Charge AI就能够进一步提升手机电池剩余可运行时间的预测准确率，最高提升可达15%。而且，还能实现更好的充电散热管理，延长电池循环充电寿命，最高可延长达200天。

当然，AI还帮助手机游戏、购物、学习等功能变得更加有趣且实用。

实际上，手机AI功能的强大，需要强大的手机处理器以及AI性能来支撑。借着发布不久的骁龙865移动平台，我们来解析一下硬件和软件如何配合实现强大的AI功能。

更高性能的AI处理器，更强大的AI功能

上月初，高通发布了最新旗舰移动平台骁龙865，新平台很好地融合了5G和AI，能够提供高达7.5 Gbps的峰值速率，搭载第五代高通人工智能引擎AI Engine和传感器中枢（Sensing Hub）。此外，Spectra 480 ISP能够实现高达每秒20亿像素的处理速度，Snapdragon Elite Gaming还能支持一系列端游级别的体验和极致逼真图形性能等新特性，能够给用户带来出色的拍摄和游戏体验。

作为骁龙865升级的重点，新一代Kryo 585 CPU的性能提升达25%，全新Adreno 650 GPU的整体性能较前代平台提升25%。与AI功能最密切相关的AI Engine，骁龙865集成的第五代AI Engine，性能最高可达每秒15万亿次运算（15 TOPS），是上一代骁龙855 AI性能的两倍，相比骁龙845 AI性能更是提高了5倍。

骁龙865 AI性能显著的提升并不是依靠某一个处理器的提升。AI Engine一直采用多核异构计算的解决方案，通过Kryo CPU、Adreno GPU、Hexagon处理器的协同处理，共同完成AI任务。第五代AI Engine核心的Hexagon处理器进行了全新升级，TOPS性能是前代张量加速器的4倍，运行能效同时提升35%。骁龙865的Adreno 650 GPU的AI算力相比于前代骁龙855的GPU AI算力也提升超过两倍，成为最强的手机AI处理器。
当然，AI Engine多核异构架构也能在性能和功耗之间取得最佳平衡。对于电池供电的智能手机而言，兼具高性能和低功耗的特性至关重要，与AI Engine性能提升的思路一样，高通降低功耗同样没有局限于某一个硬件，而是从系统的角度进行优化。

深度学习算法是目前AI最常用的算法，这类算法带来了大量的卷积运算，但耗能最多的并非卷积计算，而是数据的搬运。为此，高通把骁龙820上就采用的带宽压缩技术升级为骁龙865 AI Engine上的深度学习带宽压缩技术，可以实现高达50%压缩比的无损压缩，通过这种方式，大大降低了对内存的访问。而且，骁龙865新支持的LPDDR5可以带来30% 的带宽提升，共同实现功耗的降低。
还需一提的是，为了进一步提升手机处理器的智能化程度，骁龙865还集成了传感器中枢（Sensing Hub），可以用作音频、视频的实时感知。在功耗控制方面，这个传感器中枢的多关键词语言语音唤醒功耗小于1毫安，配合AI Engine可以在极低的功耗下让手机能够感知周围的环境。

比如前面提到的ASR，高通与谷歌合作共同增强了Android Neural Networks API，并将Google Assistant的语音识别功能从CPU迁移到Hexagon，降低功耗达3倍，延迟降低30%，实现全天始终在线的语音翻译，进一步将情境感知AI提升至全新水平。

不过，再强大的硬件也需要软件来释放其“魔力”。

更多有趣的AI功能即将到来

抖音、Snapchat、谷歌翻译、有道翻译等APP输出了手机的AI功能，这也是手机AI软件和硬件开发者紧密合作的成果。不过，双方的合作有一个巨大的鸿沟，一方面，软件开发者不了解底层的硬件，调用和优化硬件对他们而言是个巨大的难题；另一方面，硬件提供方往往对软件开发者的多样化需求不够了解，很难满足所有开发者的需求。
因此，与传统芯片不同，AI芯片的提供方需要提供一套涵盖硬件、软件、工具的完整解决方案，才能够保证一切协同工作。从最顶层到最底层分别是应用程序、框架、Runtime、库、硬件加速器。

就框架而言，AI开发者可能会使用TensorFlow、PyTorch等框架，AI芯片公司都会尽量支持主流的AI框架。为了简化AI开发者的工作，目前，骁龙865可支持超过160个算子，算子指的是框架中存在的复杂函数，可以帮助张量更好地工作。还值得一提的是，开发者还能利用Adreno支持的Open CL和Hexagon SDK打造自定义算子，这样开发者就能在框架上实现差异化，也能充分利用骁龙平台提供的强大AI算力。

在Runtime层，为了支持移动终端上的AI性能，高通在全球率先推出面向移动平台的AI软件工具包。高通神经处理SDK与Android Neural Networks API的协作可为骁龙移动平台上第一方和第三方应用提供非并行开发者访问，将AI硬件和软件更好地结合在一起。

据悉，高通的神经处理SDK侧重于改善能耗、性能、访问等多个方面，还提供每月的版本更新，并与合作伙伴尤其是OEM紧密合作，提供顶级的AI解决方案，支持更多的网络和更高的性能。高通AI研发团队还与谷歌紧密合作，共同优化Android Neural Networks API，实现了3-5倍的性能提升，让接入也更加简单。

需要补充的是，高通还推出了Hexagon NN Direct，例如，通过与谷歌合作能让TensorFlow Lite的开发者越过Runtime直接访问终端，直接运行在Hexagon内核上的库，也能为其他解决方案商提供相同的访问权限。

这一功能能够带来显著提升，Snapchat可以通过利用Hexagon NN Direct，可以将视频从每秒10帧提升到了每秒超过40帧。
除此之外，高通还推出了全新的AI模型效率工具包，这套工具包能够通过去除网络中的冗余层，以低于1%的准确度损失实现3倍的模型压缩，这对大多数用例绰绰有余。另外，这个工具包还能将32位的AI模型压缩到8位，将每瓦特性能提升超过4倍。

基于高性能硬件和易于使用的软件，骁龙的AI技术已赋能全球超过10亿部终端。随着硬件性能进一步的提升和软件的迭代和创新，更多XR、工作、社交等领域的AI应用也会越来越多。

菜鸟学院小结

手机是AI技术最先普及的智能设备，但在两年前，消费者能够使用到的AI功能非常有限。随着手机AI性能的不断提升以及AI算法和软件的不断迭代，2019年AI拍照已经成为了最受消费者喜欢的AI功能，并且，得益于手机端AI性能的强大，之前只能靠云端实现的AI任务在终端也可以实现很好的效果。手机AI功能更实用的同时，也催生了许多更加有趣和新奇的AI功能。

这一市场的领导者高通，其最新旗舰移动平台骁龙865能有优秀的AI性能表现，也是得益于长期的积累。早在2007年，Qualcomm Research就启动了首个人工智能项目，此后不断加强在AI领域的研发，并在2018年成立了Qualcomm AI Research。

当然，芯片的成功，特别是AI芯片的成功，软硬件更好地融合以及生态的繁荣更加重要，凭借强大的技术实力以及号召力，高通在全球已经拥有了众多的AI合作伙伴，其在AI领域的表现也因此值得期待。特别是在5G领域同样领先的高通，5G和AI的融合，将碰撞出让人意想不到的惊喜。