边缘智能——深度学习和边缘计算

随着深度学习的突破，近年来人工智能（AI）应用和服务蓬勃发展。在移动计算和物联网进步的推动下，数十亿移动和物联网设备连接到互联网，在网络边缘生成数以亿计的数据字节。

在人工智能和物联网的驱动下，迫切需要将人工智能前沿推向网络边缘，充分释放边缘大数据的潜力。为了实现这一趋势，边缘计算是一个很有前途的解决方案，以支持计算密集型人工智能应用在边缘设备上。

边缘智能或边缘人工智能是人工智能和边缘计算的结合；它支持将机器学习算法部署到生成数据的边缘设备。边缘智能有可能为任何地方的每个人或组织提供人工智能。

一、什么是边缘计算

边缘计算的概念是在更靠近需要提高响应时间和节省带宽的位置捕获、存储、处理和分析数据。因此，边缘计算是一种分布式计算框架，它使应用程序更接近物联网设备、本地终端设备或边缘服务器等数据源。

边缘计算的基本原理是计算应该发生在数据源附近。因此，我们设想边缘计算可能对我们的社会产生与云计算一样大的影响。

边缘计算的概念

二、为什么我们需要边缘计算

数据在网络边缘生成

作为推动人工智能发展的关键驱动力，大数据最近经历了数据源从超大规模云数据中心到日益普及的终端设备（如移动和物联网设备）的根本转变。传统上，网络购物记录、社交媒体内容、商业信息等大数据主要是在超大规模数据中心产生和存储的。然而，随着移动计算和物联网的出现，这种趋势现在正在逆转。

如今，大量传感器和智能设备产生海量数据，不断增长的计算能力正在推动计算和服务的核心从云端到网络边缘。今天，超过 500 亿物联网设备连接到互联网，IDC 预测，到 2025 年，将有 800 亿物联网设备和传感器在线。

思科的全球云指数估计，到 2021 年，每年将在云之外生成近 850 ZB 的数据，而全球数据中心流量仅为 20.6 ZB。这表明数据源正在转变——从大规模的云数据中心到越来越广泛的边缘设备。同时，云计算逐渐无法管理这些大规模分布的计算能力并分析它们的数据：

1. 资源：通过广域网 (WAN) 移动大量数据对网络容量和云计算基础设施的计算能力提出了严峻挑战。

2. 延迟：对于基于云的计算，传输延迟可能非常高。许多新型应用程序都具有挑战性的延迟要求，而云计算很难始终如一地满足这些要求（例如，协作式自动驾驶）。

边缘计算在数据源提供数据处理

边缘计算是一种将云服务从网络核心推向网络边缘的范式。边缘计算的目标是尽可能靠近数据源和最终用户托管计算任务。

当然，边缘计算和云计算并不相互排斥。相反，边缘补充并扩展了云。边缘计算与云计算相结合的主要优势如下：

1. 骨干网络性能：分布式边缘计算节点可以处理许多计算任务，而无需与云交换底层数据。这允许优化网络的流量负载。

2. 敏捷服务响应：部署在边缘的应用可以显着降低数据传输的延迟，提高响应速度。

3. 强大的云备份：在边缘无法承受的情况下，云可以提供强大的处理能力和海量、可扩展的存储。

数据越来越多地在网络边缘产生，在网络边缘处理数据会更有效。因此，边缘计算凭借其减少数据传输、改善服务延迟、缓解云计算压力的优势，成为突破新兴技术瓶颈的重要解决方案。

三、边缘智能结合人工智能和边缘计算

在边缘生成的数据需要人工智能

移动和物联网设备的数量和类型激增，导致产生大量持续感知的设备物理环境的多模态数据（音频、图片、视频）。

连接的边缘设备创建的数据与在云中处理的数据之间的差距

人工智能在功能上是必要的，因为它能够快速分析这些庞大的数据量并从中提取洞察力以进行高质量的决策。Gartner 预测，到 2022 年，超过 80% 的企业物联网项目将包含人工智能组件。

最流行的人工智能技术之一是深度学习，它能够识别模式并检测边缘设备感测到的数据中的异常情况，例如人口分布、交通流量、湿度、温度、压力和空气质量。

然后，从感测数据中提取的见解会被提供给实时预测决策（例如公共交通规划、交通控制和驾驶警报），以响应快速变化的环境，从而提高运营效率。

什么是边缘智能和边缘人工智能

边缘计算和人工智能的结合催生了一个名为“边缘智能”或“边缘人工智能”的新研究领域。边缘智能利用广泛的边缘资源为 AI 应用程序提供支持，而无需完全依赖云。虽然Edge AI或 Edge 智能是一个全新的术语，但这个方向的实践很早就开始了，微软在 2009 年构建了一个基于边缘的原型来支持移动语音命令识别。

边缘计算场景

然而，尽管早期探索开始，边缘智能仍然没有正式的定义。目前，大多数组织和媒体将边缘智能称为“在终端设备上本地运行 AI 算法的范例，其数据（传感器数据或信号）是在设备上创建的。”

边缘人工智能和边缘智能被广泛认为是研究和商业创新的领域。由于在边缘运行 AI 应用程序的优越性和必要性，Edge AI 近来受到了极大的关注。

Gartner技术成熟度曲线（ Gartner Hype Cycles ）将边缘智能命名为一项新兴技术，它将在未来 5 到 10 年内达到生产力平台。包括谷歌、微软、IBM、英特尔在内的多家主要企业和技术领导者展示了边缘计算在连接人工智能最后一公里方面的优势。这些努力包括广泛的人工智能应用，例如实时视频分析、认知辅助、精准农业、智能家居和工业物联网。

边缘智能和智能边缘的概念

云不足以支持深度学习应用程序

由于深度学习在计算机视觉（CV）和自然语言处理（NLP）领域的巨大优势，基于人工智能和深度学习的智能服务和应用已经改变了人们生活的许多方面。

但是，由于效率和延迟问题，目前的云计算服务架构还不足以为任何地方的每个人和每个组织提供人工智能。

对于更广泛的应用场景，如智能工厂和城市、智能交通、人脸识别、医学影像等，由于以下因素，提供的智能服务数量有限：

• 成本：云端深度学习模型的训练和推理需要设备或用户向云端传输海量数据。这会消耗大量的网络带宽。

• 延迟：访问云服务的延迟通常无法保证，对于许多时间关键的应用程序来说可能不够短。

• 可靠性：大多数云计算应用程序依赖无线通信和骨干网络将用户连接到服务。对于很多工业场景，即使在网络连接丢失的情况下，智能服务也必须是高可靠的。

• 隐私：深度学习通常涉及大量的私人信息。人工智能隐私问题对智能家居和城市等领域至关重要。在某些情况下，甚至可能无法传输敏感数据。

由于边缘比云更接近用户，边缘计算有望解决其中的许多问题。

将深度学习转移到边缘的优势

AI 和边缘计算的融合是很自然的，因为它们之间有明显的交集。在网络边缘生成的数据依赖于人工智能来充分释放其全部潜力。边缘计算能够随着更丰富的数据和应用场景而蓬勃发展。

边缘智能有望尽可能地将深度学习计算从云端推向边缘。这使得开发各种分布式、低延迟和可靠的智能服务成为可能。

将深度学习部署到边缘的优势包括：

1. 低延迟：深度学习服务部署在请求用户附近。这显着减少了将数据发送到云进行处理的延迟和成本。

2. 隐私保护：由于深度学习服务所需的原始数据存储在本地边缘设备或用户设备本身而不是云端，因此隐私得到增强。

3. 更高的可靠性：分散和分层的计算架构提供了更可靠的深度学习计算。

4. 可扩展的深度学习：边缘计算凭借更丰富的数据和应用场景，可以推动深度学习在各行业的广泛应用，推动人工智能的普及。

5. 商业化：多样化和有价值的深度学习服务拓宽了边缘计算的商业价值，加速了其部署和增长。

使用靠近数据源的网络边缘资源释放深度学习服务已成为一种理想的解决方案。因此，边缘智能旨在促进使用边缘计算部署深度学习服务。

云、设备端和边缘智能的能力比较

边缘计算是泛在人工智能的关键基础设施

人工智能技术已经在我们日常生活中的许多数字产品或服务（电子商务、服务推荐、视频监控、智能家居设备等）中取得了巨大的成功。此外，人工智能是新兴创新前沿领域的关键驱动力，如自动驾驶汽车、智能金融、癌症诊断、智慧城市、智能交通和医疗发现。

基于这些例子，人工智能领域的领导者推动实现更丰富的深度学习应用程序，并突破可能的界限。因此，泛在人工智能是各大 IT 公司宣称的目标，其愿景是“为每个人和每个组织在任何地方制造人工智能”。

因此，人工智能应该“更接近”人、数据和终端设备。显然，在实现这一目标方面，边缘计算比云计算更胜任：

1. 与云数据中心相比，边缘服务器更靠近人、数据源和设备。

2. 与云计算相比，边缘计算更实惠且易于访问。

3. 边缘计算有可能提供比云计算更多样化的人工智能应用场景。

由于这些优势，边缘计算自然是无处不在的人工智能的关键推动因素。

四、在网络边缘部署机器学习算法

前所未有的数据量，加上最近人工智能 (AI) 的突破，使深度学习技术的使用成为可能。边缘智能支持在网络边缘部署机器学习算法。

将学习推向边缘的主要动机是允许快速访问边缘设备生成的大量实时数据，用于快速的AI模型训练和推理，从而赋予设备类人的智能，以响应实时事件。

设备上的分析在设备上运行 AI 应用程序以在本地处理收集的数据。因为许多人工智能应用需要高计算能力，这大大超过了资源和能源受限的边缘设备的能力。因此，缺乏性能和能效是边缘人工智能的共同挑战。

不同级别的边缘智能

边缘智能的大多数概念通常都集中在推理阶段（运行 AI 模型），并假设 AI 模型的训练在云数据中心进行，主要是由于训练阶段的资源消耗较高。

然而，边缘智能的全部范围充分利用终端设备、边缘节点和云数据中心的层次结构中的可用数据和资源来优化训练和推理深度神经网络模型的整体性能。

因此，边缘智能并不一定要求深度学习模型在边缘完全训练或推理。因此，存在涉及数据卸载和协同训练的云边缘场景。

边缘智能：云和边缘计算的范围

一般没有“最佳级别”，因为边缘智能的最佳设置取决于应用程序，并且是通过联合考虑延迟、隐私、能效、资源成本和带宽成本等多个标准来确定的。

• 云智能是完全在云端对 AI 模型进行训练和推理。

• 设备端推理包括在云端进行 AI 模型训练，而 AI 推理则以完全本地的设备端方式应用。设备上推理意味着不会卸载任何数据。

• 边缘智能完全在设备上执行 AI 模型的训练和推理。

通过将任务转移到边缘，减少数据卸载的传输延迟，增加数据隐私，降低云资源和带宽成本。然而，这是以增加能源消耗和边缘计算延迟为代价的。

设备端推理目前是一种适用于各种设备端 AI 应用程序的有前途的方法，已被证明在许多用例中都达到了最佳平衡。设备端模型训练是联邦学习的基础。

边缘深度学习设备端推理

AI 模型，更具体地说是深度神经网络 (DNNs)，需要更大规模的数据集来进一步提高其准确性。这表明计算成本急剧增加，因为深度学习模型的出色性能需要高级硬件。因此，很难将它们部署到边缘，这会带来资源限制。

因此，大规模深度学习模型一般部署在云端，而终端设备只是将输入数据发送到云端，然后等待深度学习推理结果。然而，仅云推理限制了深度学习服务的普遍使用：

• 推理延迟。具体来说，它不能保证实时应用的延迟要求，例如对延迟要求严格的实时检测。

• 隐私。数据安全和隐私保护是基于云的推理系统的重要限制。

为了应对这些挑战，深度学习服务倾向于求助于边缘计算。因此，必须定制深度学习模型以适应资源受限的边缘。同时，需要仔细优化深度学习应用程序，以平衡推理准确性和执行延迟之间的权衡。

五、下一步是什么？

随着人工智能和物联网的出现，需要将人工智能前沿从云端推向边缘设备。边缘计算已成为广泛认可的解决方案，可在资源受限的环境中支持计算密集型 AI 应用程序。

智能边缘，也称为边缘人工智能，是一种将边缘计算和人工智能结合在一起的新范式，其目标是为各行各业的组织提供无处不在的人工智能应用程序。

by Gaudenz Boesch from viso.ai

点击阅读原文可查阅更多资源。