AI大模型边缘算力调度解决方案 2024_大模型边缘推理人工智能算法

技术背景

• 大模型增加边缘侧计算量，推进边缘智能算力部署。

• 大模型加速终端硬件多模态感知和推理能力的升级。

◆ 边缘发展

• 大模型正在从算力统管和场景优化两个维度在边缘侧进行落地尝试。

• 作为边缘应用前沿，大模型正对自动驾驶技术栈进行全方位升级与重构。

◆ 端侧动态

• 终端模型需与云端模型协同提供服务，存、算、网同步升级。

• AI重塑操作系统是释放大模型潜力的关键，旨在颠覆产品体验及生态。

大模型渗透下，由云向边端多智体进化

AI与新基建相辅相成，形成正向循环，共促智慧物联产业扩展与升级

多智体系统是指由多个智能体构成的系统，智能单体具备感知、存、算、通信能力，智能体之间通过协作交互AI相关信息，实现智能在网络内的流动，从而提升各节点及网络平台的智能水平，是未来物联网发展的目标。大模型在各层融合应用对原有云、边、端的算力及调度、通信、感知能力都提出了全新的要求，物联网的智能进化也为大模型落地铺开更广阔的场景与空间。

大模型在云、边、端落地对物联网技术体系的影响与塑造

智能算力加速下放至边缘侧与端侧

国产AI芯片积极进行生态适配，边缘大模型与端侧AI应用态势趋显

2023年，中国AI芯片市场规模约为620亿元。近年来，国央企加大算力基础设施建设，由更多人工智能产业服务商作为生态伙伴参与共建，强化需求牵引与行业赋能，2028年中国AI芯片市场规模将达到3931亿元，五年复合增长率达到44.7%。

在中美关系越发紧张的时代背景下，中国AI芯片厂商坚守自主可控道路，期望早日摆脱对国外厂商以英伟达为代表的高性能卡依赖。以百度昆仑、华为昇腾、中科海光等厂商为代表的芯片产品陆续完成软件生态移植，进入规模化应用阶段。

伴随自动驾驶、智慧医疗、智能家居、工业互联网等场景，AI算法与算力调度将从云端逐步下放到边缘侧和端侧。预计2028年云端、边缘侧、端侧AI芯片的比例将分别达到48.6%、27.5%与23.9%，面对大量、复杂任务如何进行与云端的无缝高效的分工配合，是当前边端模型需要解决的关键问题。

2020-2028年中国AI芯片市场规模

AI芯片市场规模（亿元）

2022-2028年中国AI芯片应用场景比例变化

边缘侧：大模型延展边缘智能空间

实际应用能力与场景仍处于初探阶段

当前，大模型正在从算力统管和场景优化两个维度在边缘侧进行落地尝试。在算力统管方面，大模型能够部分替代和接管原有云端计算中心的算力调度权限与能力，大大减少云—端传输所带来的时间损耗，对边缘侧算力使用效率带来改进。同时，大模型可取代原有边缘侧用于预测、决策、判别、生成等多类任务的小模型，提升场景泛化能力和使用效果，改善ROI。

大模型边缘侧落地应用分析

算力统管提升边缘算力调度与响应能力

Before:

使用传统的运筹优化算法或深度神经网络模型，由云端计算中心统一对边缘节点进行调度和优化，边缘节点之间能够互相通信，能够单独或协同进行计算存储任务，但仍然缺乏灵活性，智能程度低。

After

大模型实现边缘算力调度及运维在边缘侧算力扩展以及网络通信能力提升共同作用下，可以支持直接将预训练大模型部署在边缘侧。

01 边缘算力调度优化

相比云端调度，时延能够从数百毫秒降低到数十毫秒，大大提升算力对终端计算需求的响应能力，避免或弱化卡顿、网络崩溃等问题。

02 数据异常检测

利 用 大 模 型Agent，通过简单指令设置，让大模型自动对特定数据进行扫描并发现问题上报，提升检测效率。

场景优化替代小模型，拓展应用能力

由于端侧算力部署成本过高，因此AI模型在智慧城市、智能制造等领域应用一直以来普遍采用云端训练、边缘部署和推理的方式实现。Transformer架构大模型具有较强的内容理解和泛化能力，在产业端替代原有小模型，训练周期大大缩短，可移植性提升，应用效果明显增强，将大幅提升AI边缘侧场景ROI。

01 预测+决策类 设备预测性维护/自动驾驶

如电力行业的电量预测、工业设备维护预测等典型时间序列预测场景，使用大模型取得更好的预测效果。自动驾驶当中系统对下一时间即将发生的路况预测及对应决策的生成，能够提升面对长尾场景的响应能力。

02 视觉判别类 安全检测、工业质检

在矿山、工厂等环境的安全检测，以及工业流水线质检、城市道路及车站人流监测等场景，大模型能够提升同时监控对象数量，还能够通过对画面内容的理解进一步提升识别准确率。

03 语言/语音生成类 金融/医疗+数字人

客户接待压力较大的强交互场景，使用大模型+数字人方式构建交互式对话机器人，解答客户问题同时还能够精准导流，未来还会逐步拓展至医疗诊断、金融业务办理、方案咨询等复杂场景。

边缘侧：大模型应用前沿—自动驾驶

大模型正在对自动驾驶技术栈进行全方位升级与重构

生成式AI在自动驾驶软件技术栈应用分析

未来新方向

• DriveGPT4：多模态形式理解和输出驾驶任务在车辆行为描述与辩护、问题回答和控制信号预测等任务上表现良好，且展现出稳健的零样本泛化能力。

• 世界模型：用多模态大构建自动驾驶的基座模型通过对驾驶环境动态建模，预测未来驾驶环境将如何演变，相应做出驾驶决策，其理念与预训练大模型完全贴合，将具备强大的泛化能力，从而有望成为自动驾驶中的基座模型，赋能下游各类具体任务。

系统拟人化

嫁接大语言模型已涌现的上下文学习、零样本学习、逻辑推理、常识判断等能力，提高智能驾驶面对复杂场景的泛化性与可解释性，同时能够将车内与车外信息融合决策，更加智能化实现自动驾驶系统与司机关于路况与驾驶决策的实时交互。

当前自动驾驶技术栈

车端

• BEV+Transformer：不依赖高精地图判断车辆位置和环境轮廓，进行纵向距离测算和补全，实现目标检测、跟踪、3D分割等任务。

• 集成预测、决策和运动规划的BEVGPT：以BEV图像作为唯一输入源，并根据周围交通场景做出驾驶决策，最后通过优化运动规划方法实现驾驶轨迹的可行性和平滑性。

“偷梁换柱”

Transformer架构在各模块中替换任务小模型和规则代码，提升系统简洁性和整体任务效果，为端到端打好基础。感知层应用已相对成熟，头部车企均已实现量产，规控处于起步阶段。

云端

• SAM：可提示的分割系统经过预训练获得强大泛化能力，能辅助数据预标注，以及生成感知、预测和规划的特征输入。

• NeRF：2D图像合成3D能通过2D数据素材生成3D场景，实现高真实性场景重建，对于长尾场景模拟仿真有重要意义。

降本增效

一方面，利用大模型的生成能力，能够高质量生成训练所需特征和环境，对模拟仿真进行有效数据补充，另一方面，用大模型实现自动化数据标注，降低训练成本。

统一的大模型架构是自动驾驶明确演进方向

驾驶全局优化和落地成本改善，端到端正成为领先自动驾驶的技术标杆

端到端方案架构与优势分析

模块化自动驾驶技术架构

针对独立任务的若干小模型和大量基于规则的指令构成了每个模块，不同模块之间通过接口传递数据，能够实现完整决策链条但算法网络之间彼此断开。

模块化方案特点

量产成本高，技术天花板低，在环境简单的场景能更快应用

采用大量手写代码实现车辆规控，且不同模块独立优化，这意味着随环境复杂度提高，一方面需要的代码会非常庞大，维护升级困难，且会消耗更大功率，不利于车端部署，另一方面系统设计很难穷尽所有情景，面对新情况，仍需驾驶员接管，很难迈出辅助驾驶的范围。同时，这种方案依赖多颗激光雷达的信息辅助，导致成本居高不下。

端到端自动驾驶技术架构

将感知、预测、决策各模块全部用神经网络模型替换，形成统一不间断的算法框架，能够实现以全局优化为目标的计算和决策。

端到端方案特点

数据驱动，智能化程度高，响应速度快，驾驶体验好，有望在复杂环境实现高阶自动驾驶。

各模块代码都用神经网络编写，通过大量输入图像视频数据进行训练，“学习”各种情境下的驾驶动作，这使得其能够处理多样化的驾驶场景任务，对复杂长尾问题响应能力提升，同时系统更加简洁，还能够以整体最优为目标实现各模块联合优化。最后，端到端方案普遍采用BEV+Transformer技术框架，能够大幅减少对激光雷达的使用，从而降低单车自动驾驶前装成本。

大模型深化赋能是高级别自动驾驶落地关键

L3利好政策信号释放，数据、算力、算法等方面仍需长期积累

L3级级别自动驾驶发展要素分析

1、政策引导 但“毕业” L3试点，车企拿到“准考证”

2023.07 《北京市智能网联汽车政策先行区自动驾驶出行服务商业化试点细则（试行）》

正式开放智能网联乘用车“车内无人”商业化试点，企业达到相应要求后可在示范区内面向公众提供常态化自动驾驶付费出行服务

2023.11 《关于开展智能网联汽车准入和上路通行试点工作的通知》

• 遴选达到L3、L4量产条件的车企发放准入测试牌照

• 明确高阶智驾事故责任归属

虽然上述政策明确支持和推进自动驾驶商业化发展，但《准入通知》中也明确指出，试点实施目的是引导加强能力建设，完善相关法规修订和完善，距离真正上路还有很长距离。

2、头部厂商横向对比，国内玩家仍需追赶

3、无论自用还是商业运营，都需要从各维度进一步降低成本

私家车：功能升级引发的前装溢价值得关注

相比L2，L3级别自动驾驶系统需接管更多复杂场景，激光雷达、摄像头等感知设备需要增加及升级，车端算力也要提升，单车软件+硬件服务成本可能在10万元甚至更高，考验消费者对自动驾驶价值的认知与判断。

出行服务：精细化运营填补商业化最后一环

除整车成本外，robotaxi还面临高昂的安全和运力运营成本。安全方面，在云代驾基础上，还需要逐步提升一个安全员监控的车辆数，摊薄成本，在运力方面，有效的能源成本优化、场站、售后等环节的精细化管理手段也是未来各家运营方的发力方向。

从技术来看，特斯拉率先完成端到端落地，领先国内厂商1-2个身位，其背后是提前多年的前瞻性技术实践。当自动驾驶与Transformer融合越紧密，其所表现出的数据和算力驱动特征会愈发明显。来自真实驾驶环境的数据是模型训练最重要的数据来源之一，从数据与算力储备看，国内头部车企与特斯拉仍存在较大差距。

端侧：大模型加速AI与终端融合

终端模型需与云端模型协同提供服务，存、算、网同步升级

当前阶段，大模型已经率先在手机和汽车座舱中得到初步应用，其带来的计算存储需求也在催化终端硬件和网络性能迭代。

同时，在大模型裁剪技术以及终端算力制约下，端侧部署大模型参数量小，功能相对有限，部分时刻借助云端大模型能力可以为用户提供更丰富的场景体验。未来随着场景复杂化和用户、设备协同等需求，对端侧和云端模型能力及算力需求也将同步提升。

端侧大模型应用能力及软硬件技术分析

AI原生硬件将颠覆产品体验及生态

AI重塑操作系统是释放大模型潜力的关键，硬件厂商更有机会建立完整生态

从用户感知视角，多模态的人机交互将解放用户双手，AI终端将从存储—应用—交互一体的娱乐/工具机，逐渐演化为用户随身携带的智能BOX。作为智能算力和应用的载体，终端应用的范围和能力也将得到极大拓展。从技术栈层面，操作系统作为全机能力调度的核心将发挥更显著的主体性作用，硬件厂商将以AI操作系统为核心重塑自身生态，原有软件厂商的用户数据与流量入口优势或将被削弱。

AI终端用户生态及软硬件生态变革分析

既然大模型现在这么火热，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。