存内计算是否可以应用于边缘计算

本篇文章聚焦存内计算应用，我们将从云边端计算各有优势出发，围绕边缘计算场景已有落地、赋能边缘计算存，算大有可为三个方面展开介绍，并围绕存算与边缘计算的结合应用展开构想与展望。

一.云边端计算 各有优势

云边端，简单地说可以分为“云”、“边”、“端”三个部分。云”是传统云计算的中心节点，云端数据中心；“边”是云计算的边缘侧，分为基础设施边缘和设备边缘，也是边缘计算；“端”是终端设备，如手机、智能化电气设备、各类传感器、摄像头等[1]。

（1）云计算

基本概念：云计算是一种基于互联网的计算方式，它允许用户和企业通过互联网访问和使用存储在远程数据中心的计算资源（如服务器、存储、数据库、网络、软件等）。用户可以根据需求，动态地扩展或缩减资源，而无需关注底层的物理硬件。

优势及特点：

1.弹性和可扩展性：用户可以根据实际需求，快速增减计算资源，实现资源的弹性伸缩。

2.成本效益：采用按需付费模式，用户只需为实际使用的资源支付费用，减少了前期投资和运维成本。

3.高可用性和可靠性：云服务提供商通常会在多个地理位置部署数据中心，确保服务的高可用性和数据的安全备份。

（2）边缘计算

基本概念：边缘计算是一种分布式计算框架，将数据的处理从中心云移近数据产生的源头（即“边缘”），如物联网设备、智能手机等。它旨在减少延迟，提高处理速度，并减轻中心云的负担。

优势及特点：

1.低延迟：通过在数据产生的地点附近处理数据，边缘计算能显著减少数据传输和处理的延迟。

2.带宽节省：减少了对中心数据中心的数据传输需求，有助于节省网络带宽和降低成本。

3.增强隐私和安全：通过在本地处理敏感数据，减少了数据传输，有助于提高数据的隐私和安全性。

（3）端计算

基本概念：端计算是边缘计算的一个子集或补充，强调在网络的边缘层（如路由器、交换机等）而非终端设备上进行数据处理和分析。端计算框架旨在提供更接近用户的计算资源，以支持实时或近实时的应用和服务。

优势及特点：

1.更接近用户：通过在网络的边缘层处理数据，端计算能够更快地响应用户的需求。

2.支持实时应用：适合对实时性要求较高的应用，如实时视频分析、工业自动化等。

3.提高网络效率：通过本地处理和决策，减少了对中心云资源的依赖，提高了整体网络的效率和性能。

从以上对云边端计算的概念、优势及特点的简单描述可以看出，云边端各有优势，适用于不同的应用场景，下面将从表格的形式总结三者的不同。

表1 云边端计算的区别与特点[2]

二.边缘计算场景 应用已有落地

边缘计算服务于云，承接于端。其作用一方面体现在利用边与端之间的距离优势，对端侧产生的数据进行简单处理，减轻向云端传输时的带宽压力和云端计算压力，本地响应速度更快；另一方面，体现在中间数据可以进行本地存储，降低原始数据泄露和云端设备故障等风险。

以阿里云的OpenYurt为例[3]，该服务为申通快递提供了一套完整的边缘计算解决方案。申通快递在2019年开始全面数字化，基于Kubernetes这一用于自动部署、扩缩和管理容器化应用程序的开源系统建立了申通云云原生PaaS平台，以满足云上应用的需求。随后，为了满足边缘的高响应、低时延、大连接的需求，申通采用阿里云的OpenYurt平台作为申通快递IoT云边端架构的核心，实现了云边协同。具体体现在边缘PaaS平台的云边协同能力，包括边缘资源运维管控、应用管理、云管边端的云边协同，利用OpenYurt提供的容器化隔离环境，统一部署Master集群在公有云，将结点下沉到边缘端，并重写结点的心跳检测机制和自治逻辑，以实现边缘容器在稳定的局域网络环境中自运行。其优势包括提高稳定性、降低资源浪费、统一管理与监控、提升开发效率和用户体验等。

申通快递通过边缘容器化将边缘物理资源充分利用，基于基础镜像产出了边缘日志服务、边缘业务监控等，开发人员可随意配置告警，搭配秒级业务监控，实现快速的故障发现与处理。业务上，申通快递通过云边协同能力将扫描校验核心流程在边缘完成，支撑快递业务拦截件、预售等业务，更好地应对双十一大促等情况产生的海量数据。

图1 申通快递边缘计算平台结构示意图

接近我们生活的边缘计算场景是IOT和家用NAS。IOT即物联网，部署在同一个网络环境下，需要指定一台设备作为家庭终端，控制连接到该网络的所有智慧电器，由这台设备进行边缘计算，和端侧设备联系；NAS是一种可联网的存储器，允许用户联网后通过公网访问数据，设备本身带有一定数据处理能力，可实现对本地照片进行AI分类、将网盘服务部署到NAS等操作。

图2 绿联NAS相关服务电商介绍页

对边缘计算的评价可以自底向下地从拓扑、内容、服务三个方面来看[4]。拓扑是边缘计算的架构，涉及边缘站点的放置及部署、无线网络规划和路由等。内容是建立在拓扑基础上的，主要涉及数据和服务的部署和放置，面临服务器选择、服务放置/部署等问题。内容与服务计算关联密切，是建立在物理架构和内容放置的基础上的，研究如何合理调度资源以提供更加的服务质量和用户体验。

三.赋能边缘计算 存算大有可为

前述两节分别介绍了云边端计算的区别与特点，和边缘计算的应用场景。回到题目抛出的问题：存内计算是否可以应用于边缘计算？笔者认为，赋能边缘计算，存算将大有可为。

1.架构革新，带来高算力低延迟优势

边缘计算大多基于AI计算盒（工作站），这些计算盒工作方式大多是对局域网内的终端设备拉流，进行读取图片进行推理等计算。目前这种计算盒已有多款应用落地，覆盖10TOPS/W至100TOPS/W数量级的算力。图3所示的一些AI计算盒是一些国内外已落地的产品，其中NVIDIA Jetson系列称得上是边缘计算的鼻祖，包括近年来推出的NANO、NX等，但价格普遍偏高；国内有海思3519A、3559A、昇腾等，可以成为芯片禁令之后的国产AI计算盒替代方案[5]。

图3 国内外已商用AI计算盒

存内计算架构由于其独特的架构优势，能够加速卷积中常见的乘累加运算，先天适合做神经网络推理，并在面效、能效、带宽上有巨大优势。与此同时，其算力也可满足边缘计算的需求（10TOPS/W至100TOPS/W数量级），若能将存算架构应用于边缘计算设备，将会带来高算力、低延迟、高能效面效等等优势。

2.存算赋能，优化云边端协同

第一节介绍了云边端计算的基本概念和各自的特点优劣，但随着物联网趋势的加深、大模型部署到端的下沉、5G6G网络的建设等，云边端设备的数量都在与日剧增。目前的智能物联网设备大都采取通过将数据通过网络上发至云端，由云端进行统一的处理。然而广泛的智能终端接入和海量的感知数据在传输过程中占用的巨大带宽，将数据直接传输至云端也增加了隐私泄漏的风险。在边缘侧进行计算可以减少了核心网络的流量从而释放网络带宽的压力，也完成了一定的数据保护，但是其资源受限会导致的无法满足模型精度需求[6]。在端侧，目前联想已发布其首款AI PC，实现了将大模型压缩在本地，在端侧设备上运行个人级的大模型。如图5所示，是黄仁勋和杨元庆在联想Tech World 2023上围绕端侧大模型的讨论现场。

图4 云边端协同示意图

图5 联想Tech World 2023大会

存内计算能够加速卷积中常见的乘累加运算，但是，对于除乘累加外的其他算子都需按传统方式，需要作为外部模块设计和存算一体核心一起集成到芯片中，在面积有限的情况下可支持的算子有限，尽管可以通过一定方式集成以支持一个完整的简单网络，但面对复杂网络时发挥的作用有限。应用存内计算于边缘计算可以规避该弱势，在本地执行数据前处理、卷积等提取特征的操作后，将提取好的特征传递到云端处理，实现云边协同。同时，更多的端侧存算应用，也能解放边侧计算的压力，国内的知存科技公司在端侧存算已深耕多年，已发布WTM-8、WTM-2101等多款端侧存算芯片，为云边端协同贡献一份力量。

随着云边端计算的不断发展，存算架构的优势不断显现，通过赋能边缘计算，相信在不远的将来，存内计算的应用将更为广泛。我们也有理由相信，在存内计算架构的帮助下，未来的AI时代将会更加智能、高效和互联。

参考资料

[1] 云边端具体到底指什么，云？边？端？分别指什么？ - 知乎 (zhihu.com).

[2] 边缘计算系统逻辑架构：云、边、端协同，定义及关系_云边端-CSDN博客.

[3] OpenYurt官网-最佳实践-OpenYurt助力申通快递云边端DevOps协同(openyurt.io）.

[4] 知乎-hliangzhao（www.zhihu.com/question/319330609）.

[5] 云边端AI计算那点事-云边端芯片概况-CSDN博客.

[6] 什么是云计算？什么是边缘计算？为什么需要云边协同？-阿里云.