AI终端行业专题报告：从大模型到智能体，端侧算力助力AI规模化应用_ai终端行业专题报告:从大模型到智能体,端侧算力助力ai规模化应用

今天分享的AI系列深度研究报告：《AI终端行业专题报告：从大模型到智能体，端侧算力助力AI规模化应用》。

（报告出品方：国信证券）

报告共计：28页

AI Agent 元年，端侧 AI 支撑规模化扩张

从大模型(LLM)到智能体(Agent)，智能助手的下一程

人工智能(AI)在用户软件使用方式上即将带来的根本性变革。比尔·盖茨在今年11 月提出，尽管软件已经经过了几十年的迭代，但使用方式仍然较原始，例如，当用户需要完成特定的任务时，需要告诉设备应该使用哪个应用程序。未来，用户不必再为不同的任务使用不同的应用程序，只需以日常语言告诉设备想要做什么，软件将能够因其对用户生活的深入了解而作出个性化响应。任何在线的人都将能够拥有一个 AI 智能体，由先进人工智能驱动的个人助手。

未来，AI 智能体更倾向于是一种“代理”(agents)，与当前AI工具(bot)有所差异。Bot 仅限于单一应用程序，并且通常只在用户输入特定单词或寻求帮助时才介入。这些工具不会记住用户历史上如何使用它们，也不会变得更好或学习用户的任何偏好。而 AI Agent 更加智能:1)它们是主动的，能够在用户提问之前就提出建议；2)它们能够跨应用程序完成任务；3)它会随着时间的推移而改进，因为它们记得用户的活动，并识别其行为中的意图和模式。

百模大战只是起点，A Agent 完成执行落地的完整闭环。LLM 初期，大家普遍认为 LLM 是通向通用人工智能的路径，但大模型只能被动的响应查询，可以完成对话、写故事、生成代码，比传统 AI 模型具有更强的理解能力和创造能力，但并不能直接到达 AGI(通用人工智能)的理想目标。而以 AutoGPT 和 BabyAGI 等项目为代表的 LAM 模型(Large-Action Models/Large-Agent Models)，将LLM作为 Agent的中心，将复杂任务分解，在每个子步骤完成自主决策和执行，形成了具有多领域、多模态执行力的 AI Agent。

对于智能体的构建，高领人工智能学院提出了一个由四部分组成的框架，分别是:

1)表示智能体属性的配置模块(Profile)，旨在识别智能体是什么角色;

2)存储历史信息的记忆模块(Memory)，可将智能体置于动态环境中，使智能体能够回忆过去，帮助智能体积累经验、实现自我进化，并以更加一致、合理、有效的方式完成任务;

3)制定未来行动策略的规划模块(Planning)，将复杂问题分解为简单的子任务形成决策;

4) 执行规划决定的行动模块(Action)，负责将智能体的决策转化为具体的输出。

目前，基于 LLM 的 Agent 大多仍处于实验和概念验证的阶段，但相关的生态正在 快速丰富，围绕 Agent 的研究工作也持续推进，2023 年可谓是 AI Agent 的元年， 大量 Agent 被推出。

OpenAI 推出 GPTs，搭建通向 AI Agent 终局的桥梁

GPTs在目前能力有限的AI 和未来可能出现的Autonomos Al Agent 之间架起了一座桥梁。2023 年 11 月7 日,penAI 举行了首届开发者日，正式发布了自定义 GPTGPTs。无需代码，用户可以根据自己的指令、外部知识创建自定义版本的ChatGPT，这一功能被称为 GPTs。它们允许为特定目的构建定制化 AI 机器人，而无需高级编码。同时，OpenAI 也会在本月底上线 GPT Store，让开发者们分享、发布自己创建的 GPTs。

GPTs 加强了通用 AI 大模型的实用性，有望极大加速Agent 领域的探索。GPTs 可以连接到第三方平台上，在演示中，Altman 使用 ChatGPT 界面在设计应用 Canva中模拟了一张海报,或是使用链接到 Zapier 的 GPT 扫描日历并查找日程安排中的冲突，然后自动返回冲突消息。未来，通过将不同的服务结合在一起，通用大模型就能完成非常复杂的任务，将想象落地成真正的虚拟助理、教练、导师、律师、护士、会计师等。

从自动化走向智能化，革新人机交互方式

Vivo 发布蓝心小V，交互方式革新，AI 助手应用落地进入快车道。11 月1日Vivo 举办“2023VDC 开发者大会”，发布了自研通用大模型矩阵蓝心大模型，并推出基于蓝心大模型开发的首款全局智能辅助蓝心小 V、自然语言对话机器人蓝心千询等全新功能应用，以及 0rigin0S 4系统。蓝心大模型是 vivo 自研的通用大模型矩阵，包含十亿、百亿、千亿三个参数量级，共 5 款自研大模型(蓝心大模型 1B、蓝心大模型 7B、蓝心大模型 70B、蓝心大模型 130B、蓝心大模型 175B)，从而满足不同的应用需求和算力条件。

蓝心小V是基于蓝心大模型的全局智能辅助应用，拥有更为自然、便捷的人机交互方式、丰富多维的信息表达。蓝心小 V 可以通过语音或文字，甚至是拖拽的方式，接受并处理信息数据，同时设计了便捷小巧的悬浮态，不用时最小化挂起，需要时再点击打开。这种无需唤醒的陪伴交互模式，打开了用户习惯 AI 助手的第一步，已经和传统手机助手有所差别，更贴进 agent 概念。我们认为，蓝心小V的推出开启了手机 AI 助手迭代更新的时代，手机 AI 助手将越来越贴近 agent 概念。

华为 8 月 4 日发布鸿蒙 4 操作系统(HarmonyOS 4)，华为盘古大模型将助力鸿蒙 操作系统和鸿蒙生态。盘古大模型是中国首个全栈自主的 AI 大模型，包括“5+N+X” 三层架构，分别对应 L0 层 5 个基础大模型、L1 层 N 个行业大模型、以及 L2 层可 以让用户自主训练的更多细化场景模型。其中，5 个基础大模型分别为盘古 NLP(Natural Language Processing，自然语言处理)大模型、盘古 CV(Computer Vision，计算机视觉)大模型、盘古多模态大模型、盘古预测大模型、盘古科学计 算大模型。随着 5G+AI 进入千行百业，终端侧的生成式 AI 与云端的通用大模型 相结合，将能更好地赋能数字化转型，赋能千行百业。

HarmonyOS 4 新版本中的华为智慧助手小艺已经接入了盘古大模型，包括自然语 言大模型、视觉大模型、多模态大模型，主要体现在多模态交互以及个性化创作两大能力。新升级的小艺可以实现更自然流畅的对话交互，拥有信息检索、摘要生成、多语种翻译等能力。

与此同时，三星在其第三季度财报电话会议上表示，将致力于把 AI 技术内置于 设备中，无需连接外部云端，让 AI 赋予手机设备全新体验。用户能够通过简单 指令访问各种服务，而无需访问互联网。2023 年 11 月 8 日，三星在最新的人工 智能论坛上正式发布了其自研的生成式 AI 产品 Gauss，这款大模型由 Samsung Gauss Language、Samsung Gauss Code 和 Samsung Gauss Image 三个部分组成， 面向 AI 聊天、AI 代码和 AI 图片等领域。目前，三星表示 Gauss 主要用于提高员 工生产力，但未来将在各种三星官方 App 中扩展应用范围，以提供更好的用户体 验。预计 Gauss 未来可能在三星 Galaxy S24 系列中首次亮相，成为三星第一款“AI Galaxy Phone”。

电脑方面，联想提出AI Twin 概念，并推出全球首款AI PC。北京时间 10 月 24日晚上，联想举行了 2023 联想 Tech World 创新科技大会，主题是“AI for AII”重点展示了联想在端侧大模型方面的能力，并推出了联想的首款 AI P，预计明年9 月后上市。

微软与联想合作打造个人级AI Twin 和企业版的 Enterprise AI Twin。智能设备是用户的数字延伸，如同用户的双胞胎，称之为 AI Twin。而 Enterprise AI Twin从企业内部设备、边缘和私有云中提取相关信息，做出本地化推理，提出相应解决方案。例如可以用Enterprise AI Twin 规划供应链情况，既能保证企业数据的隐私性，又能更好的制定出匹配企业自身情况的方案。

联想推出的首款 AIPC，在更好地了解用户的基础上，AI PC 能够创建个性化的本地知识库，通过模型压缩技术本地化运行个人大模型，实现AI 自然交互。AI PC是为每个人量身定制的全新智能生产力工具，将进一步提高生产力、简化工作流程，并保护个人隐私数据安全。发布会上，联想将云端大模型和端侧大模型对比运行，端侧 AI 速度慢一点，但两者生成行程规划的速度并没有差别太多，且规划更加个性化，能够将家庭地址、酒店偏好等考虑进去。演示中还进一步展示了端侧大模型的多模态能力，利用用户输入的提示，电脑迅速地生成了一张相关图片。

考虑成本、隐私与安全，混合 AI 是 AI 应用规模化的必经之路

随着 AI Agent 继续推进，AI 应用的规模化扩张势在必行，算力成本、效率都将 成为瓶颈，因此高通提出混合 AI。高通提出的混合 AI 指终端和云端协同工作， 在适当的场景和时间下分配 AI 计算的工作负载，以提供更好的体验，并高效利用 资源。在一些场景下，计算将以终端为中心，在必要时向云端分流任务。混合 AI 能帮助实现 AI 的规模化扩展并发挥其最大潜能一一正如传统计算从大型主机和 客户端演变为当前云端和边缘终端相结合的模式。

混合 AI 对生成式 AI 规模化扩展至关重要。拥有数十亿参数的众多生成式 AI 模型 对计算基础设施提出了极高的需求。因此，无论是为 AI 模型优化参数的 AI 训练， 还是执行该模型的 AI 推理，至今都一直受限于大型复杂模型而在云端部署。AI 推理的规模远高于 AI 训练。尽管训练单个模型会消耗大量资源，但大型生成式 AI 模型预计每年仅需训练几次。然而，这些模型的推理成本将随着日活用户数量 及其使用频率的增加而增加。在云端进行推理的成本极高，这将导致规模化扩展 难以持续。

节省成本是混合 AI 的主要推动因素。举例来说，据估计，每一次基于生成式 AI 的网络搜索查询(query)其成本是传统搜索的 10 倍。混合 AI 将支持生成式 AI 开 发者和提供商利用边缘终端的计算能力降低成本。混合 AI 架构可以根据模型和查 询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。例如， 如果模型大小、提示(prompt)和生成长度小于某个限定值，并且能够提供可接受 的精确度，推理即可完全在终端侧进行。如果是更复杂的任务，模型则可以跨云 端和终端运行混合 AI 还能支持模型在终端侧和云端同时运行，也就是在终端侧运 行轻量版模型时，在云端并行处理完整模型的多个标记(token)，并在需要时更正 终端侧的处理结果。此外，能耗、可靠性、性能和时延、隐私与安全、个性化都 是混合 AI 的优势。

手机: AI Agent 落地的理想载体

智能手机存量竞争时代，AI 智能体有望开启创新驱动周期

全球智能手机市场进入存量发展阶段，用户换机周期延长。全球智能手机市场在经历了快速发展的“黄金十年”后，现已进入存量发展的阶段，根据 IDC 数据，全球智能手机出货量在 2016 年达到 14.69 亿部的高点2022 年出货量仅 12亿部6年 CAGR 为-3.31%。尽管 3023 以来，全球手机销量出现了同比复苏，但在经济增长承压、居民消费动力不足、手机创新匮乏的背景下，手机用户的平均换机周期显著延长，Counterpoint 统计中国 2022 年手机换机周期长达 43 个月，全球智能手机行业面临着缺乏增长动力的问题。

AI 智能体的出现，将显著提高手机智能化程度，颠覆现有人机交互模式。但消费电子行业是长周期行业，创新是最核心的驱动因素，AI 助手升级有望开启智能手机新一轮创新周期。随着生成式 AI 的发展，人机交互的方式将得到进一步完善这种全新用户体验会完全改变智能终端的用户体验。边缘侧 AI 技术将为 AI 的创新和发展打开无限想象空间，在更加广泛的消费电子产品品类中为用户带来全新的 AI 体验，释放生成式 AI 的潜能。

头部芯片厂商针对性升级，旗舰机型率先适配

第三代骁龙8移动平台是高通首个专为生成式AI 而打造的移动平台。10 月 25 日,高通(Qualcomm)发布新一代旗舰平台骁龙 8 Gen3，其拥有面向移动终端的性能强大的 NPU，并利用 AI 能增强旗舰智能手机的内容创作、影像、游戏、音频和连接体验。其采用 4nm 工艺技术，搭载业界最快的设备端内存 LPDDR5X，与前代平台相比，其 AI 性能提升98%、能效提升 40%。第三代骁龙8 率先支持多模态生成式AI 模型，现已能够在终端侧运行高达100 亿参数的模型，面向 70 亿参数大语言模型每秒生成高达 20 个 token。

与前代平台相比，第三代骁龙8的 Hexagon NPU AI 性能提升高达98%，能效提升高达 40%; Kryo CPU性能提升 30%，能效提升 20%: Adreno GPU 性能提升 25%，能效提升 25%。

高通发布骁龙 8 Gen3 后，小米 14 系列立刻首发搭载，手机厂商渴创新升级已久。 10 月 26 日，小米正式发布小米 14 和小米 14 Pro 旗舰智能手机，均搭载第三代 骁龙 8 移动平台。在高通赋能下，目前小米自研的 60 亿参数大模型已经在第三代 骁龙 8 移动平台上流畅运行，可以实现媲美更大参数量模型的能力，将在知识问 答、文字扩写、表格生成、编写代码等生成式 AI 应用方面为用户开启全新体验。 此外，得益于第三代骁龙 8 全面升级的 AI 能力，小米 14 Pro 还支持终端侧 AI 大模型图像处理，实现图像填充、魔法消除等功能。

联发科:11 月6日，联发科(MediaTek)发布最新天现 9300 旗舰 5生成式AI 移动芯片。天现 9300 芯片搭载新一代 Cortex-X4 和 Cortex-A720，是率先采用全大核 CPU 架构的旗舰移动芯片，搭载四个 Cortex-X4 超大核和四个 Cortex-A720 大核。其中单核性能提升超过 15%，多核性能提升超过 40%，4个 Cortex-X4 CPU 主频最高可达 3.25GHz，4 个 Cortex-A720 CPU 主频为 2.0GHZ，内置 18MB 超大容量缓存组合，三级缓存(L3)+系统缓存(SLC) 容量较上一代提升 29%。天现 9300 芯片采用台积电第三代 4nm 先进制程，采用联发科第二代创新旗舰封装设计，运用先进的能效技术，精准控制 CPU 的性能和功耗，多核功耗较上一代节省达 33%。

天玑9300 芯片率先搭载基于硬件的生成式AI 引擎,兼顾安全和个性化。天现 9300芯片搭载联发科第 7 代 APU 架构内建硬件级的生成式 AI 引擎，生成式 AITransformer 运算速度快 8 倍，具有 2 倍整数和浮点运算速度，功耗较前一代降低 45%。同时，联发科提供完整的工具链，支持 NeuroPilot Compression 内存硬件压缩技术，搭载首款生成式 AI 端侧技能扩充(LORA Fusion)技术，能够协助开发者在端侧快速且高效地部署多模态生成式 AI 应用,为用户提供包括文字、图像音乐等在内的终端侧生成式 AI 创新体验，最高可支持 330 亿参数的AI大模型。

Vivo X100 系列全球首发搭载联发科新一代移动平台——天玑 9300，与 vivo 新一 代 6nm 自研影像芯片 V3 通过第二代 FIT 双芯互联技术实现无缝衔接。

苹果：2014 年，苹果在其新一代架构芯片 SoC 中加入专门的 AI 芯片，设计思路 由 CPU 和 GPU 处理的 AI 任务转向由专门的 AI 芯片进行处理。目前苹果 A 系列芯 片已更新至 A17，每秒 AI 算力达到 35 TOPS。同时，为了能够在终端设备上高效 执行更高难度的机器学习任务，苹果落地了其神经引擎处理器(Apple Neural Engine)。苹果几乎在所有自研芯片中都加入了 NPU 模块，从 Mac 电脑中用的 M1、 M2 系列芯片到 iPhone 中的 A 系列芯片，无一例外。这也是苹果各类产品可以高 效实现 AI 功能的底层基础技术支撑。目前，苹果 Siri 的升级明显落后于其他厂 商，但在芯片 AI 算力以及 AI 嵌入功能上做了充分布局，依然是 AI Agent 手机端落地竞赛最有力的参与者。

AI PC:端侧 AI 应用有望加速 PC 换机周期

温特尔联盟与安迪-比尔定理推动计算机软硬件螺旋式上升演进

温特尔联盟通过制定行业标准和模块化生产的策略来控制和主导其它平行企业蕴含了软硬件的密切配合。“温特尔”(Wintel)各取微软操作系统“Windows”和芯片处理器英特尔“Intel”的一部分组合而来。温特尔架构指由微软 Windows操作系统与英特尔 CPU 所组成的个人计算机;温特尔联盟指微软与英特尔所组成的商业联盟，表示自上世纪 80-90 年代起，微软和英特尔通过制定结构性的行业标准和模块化的生产模式，对计算机组装企业(如 IBM、DelI 等)形成产业链上的控制。

温特尔联盟推动了全球 PC 产业链的发展，由于其垄断桌面端长达 20 多年且未发 生重大变化，全球 PC 出货量自 2014 年后相对低迷。据 IDC 数据，全球 PC 出货 量自 2014 年达到顶峰 5.38 亿部后，呈现逐年下滑趋势，降至 2018 年的 4.06 亿 部；虽此后年度出货量有所上升(主要受疫情期间“宅经济”影响)，但仍未超过 2014 年峰值水平。2022 年全球 PC 出货量仅 4.54 亿部，同比减少 12.5%。

年，联想占全球 PC 市场份额最高，且份额逐年攀升，由 16.1%上升至 19.2%；苹果占全球 PC 市场份额位居第二，其份额亦由 14.0%上升至 16.5%。2022 年，苹果 以全球 PC 市场份额 19.5%跃升至第一，联想份额降至 17.5%位居第二。此外，惠 普、戴尔、三星的全球 PC 市场份额分为位于第三至第五位，保持相对稳定。

温特尔联盟的本质是硬件芯片与软件系统间的最佳结合、协同更新，计算机产业 生态链围绕“安迪-比尔定理”进行螺旋式发展演进。安迪-比尔定理(Andy and Bill’s Law)是对 IT 产业中软件和硬件升级换代关系的概括。其中，安迪指英特 尔前 CEO 安迪·格鲁夫，比尔指微软前 CEO 比尔·盖茨。所谓“What Andy gives,Bill takes away”，意指无论硬件提高了多少性能，最终都会被软件消耗掉。一般来 讲，以微软为代表的软件厂商将会消耗硬件升级所带来的全部性能提升，迫使用 户更新机器，让硬件厂商受益；同时硬件厂商将利润投入研发，按照摩尔定律提 升硬件性能，为软件厂商下一步更新软件做准备。

生成式AI与端侧AI先行，有望倒通智能设备端侧硬件性能升级

随着生成式AI的快速发展，人机交互方式得到进一步完善，端侧AI 应用及个人大模型打破了软硬件迭代式演进规律。根据“安迪-比尔定理”，软件的更新升级一般要与硬件资源所匹配;但本轮以 OpenAl ChatGPT、Windows Copilot、个人大模型为主的 A 应用在软件及系统层面率先作出巨大改变和升级，给广大用户带来全新的智能终端及智能交互体验，打开广阔想象空间，释放想象力和创造力。

2023年3月，微软推出 Microsoft 365 Copilot，宣布 Microsoft 365 全面接入Al 功能。作为一项全新的生产力特性，Microsoft 365 Copilot 将大语言模型与Microsoft 365 结合，通过生成式 AI 助手自动生成文档、制作专业表格、优化 PPT排版、处理电子邮件等功能，大幅提高用户创造力及工作效率，同时嵌入于 WordExcel、PowerPoint、0utlook 和 Teams 等微软应用中:

Copilot in Word能够协助用户一同撰写、编辑、总结和创作; Copilot in Excel能够帮助用户识别数据趋势，并在短时间内创建专业型数据可视化方案; Cpilotin PowerPoint 能够帮助用户通过自然语言的方式将想法转化为设计好的演示文稿，并且利用自然语言调整布局、编排文本、创建动画等;Copilot in Outlook能够帮助用户整合并管理收件箱，并根据具体语境语态起草邮件内容。

微软推出 Windows Copilot，成为第一个提供集中生成式 AI 协助的电脑平台。2023 年 5 月，微软在开发者大会上宣布推出 Windows Copilot，并在 6 月底上线开发 者预览版。Copilot 是一种使用自然语言处理技术或大语言模型，帮助人们完成 复杂或认知任务的应用程序或组件。作为微软在 Windows 11 中加入的 AI 助手， Copilot 集成了在操作系统中的侧边栏工具，可以帮助用户完成各种任务，包括 回答问题、总结信息、编辑文档、调整计算机设置等。

报告共计：28页