【腾讯云生成式AI产品解决方案深度分析 2024】_腾讯云 智能生产实施方案文档

文末有福利！

腾讯云生成式AI产品解决方案

(一) 基于生成式AI的腾讯云产品架构升级

(二) 腾讯云完善的产品矩阵，满足不同路线客户需求

1. 路线一 标准软件

(1) 腾讯乐享AI助手

落地背景及挑战
1

在企业知识管理、培训学习、办公协同场景中，存在着大量的内容生产、内容流转、内容消费诉求，传统的知识管理或培训平台存在着内容生产门槛高、内容生产效率低、内容获取链路长、内容利用率低等问题，导致管理成本高但收效甚微，让企业知识从“低质量”走向“不可用”。

企业应用面临的挑战包括：1. 实现问答能力与企业内部知识的强关联；2. 生成不同场景、格式的内容需要不同模型、方向的训练方案。

产品方案

方案价值

①智能问答：

对比传统搜索的优势：保留知识搜索的权限特性，改变传统冗长的检索->浏览->筛选->理解的信息获取链路，提高内容曝光，让每次知识获取时间减少5-10分钟。

②智能写作：

提供适配企业业务内容生产的写作大模型，让模型一方面能够掌握足够多的各领域知识，提供创作灵感；另一方面能够根据明确指令，对文档内容进行总结、缩写、扩写或纠偏，如撰写大纲、方案续写、会议纪要等。降低业务内容创作的门槛，提升办公协同内容输出的效率。

③智能生成：

让模型掌握跨职责的生产能力，如培训中的生成考题场景，通过训练专门的出题大模型，让模型既理解业务知识，又按规则出题，成为一个懂业务的培训出题专家，解决传统的出题模式中各方资源协同和生产困难的挑战。腾讯乐享AI助手，让知识生产、学习、管理全生命周期提效。

(2) 腾讯云AI代码助手

落地背景及挑战

随着人工智能的爆发，软件工程也转向智能化，而AI代码助手作为公认的高频高价值场景先行一步。

企业落地的挑战包括：‍

1、 企业用户关心代码安全。尤其在金融等高合规要求行业，随着大模型落地的不断推进，企业越来越关注如何平衡大模型落地收益和潜在合规风险。

2、 业务场景要求多模能力，企业内部不同业务场景对多种个性化模型提出需求，同时需保证应用侧无缝对接。

3、 企业决策需要效果度量。企业用户更关心投产价值如何衡量，期待通过数据监控手段，保障模型训练效果，推动持续改善提升。

4、企业效能提出全场景覆盖。企业希望在研发过程中尽可能多的引入较为确定可行的AI加持场景，覆盖多个智能研发场景，从而提升工程质量，达到效率提升最大化。

产品方案

方案价值

腾讯云AI代码助手是依托于腾讯模型与训练底座，精准面向企业客户需求打造，支持多模态、安全合规、流畅高效、成本可控的专业AI编程提效工具。

**①保障代码安全（Security）**依托腾讯云天御安全审核模型三重防护能力，在语料防护和Reasoning、微调等阶段进行

主动预防：确保输入内容正常合规；确保回答问题在训练内容范围之内，减少回答幻觉；确保不合规问题能够被拒绝回答。部署后，和企业安全团队积极配合，只选取企业内部认证合规的私有语料进行进一步训练，打磨出符合企业要求的代码模型。

②支持多模能力（MaaS）

基于具备多模管理能力、支持企业私有化部署的专业训练平台–腾讯云TI-ONE平台进行训练和推理优化，在代码对话、单元测试场景基于行业模型进行指令对齐和强化学习、推理优化，同时对真实场景下反馈的badcase进行调优。

③提供数据看板（Analysis）

企业可通过数据看板进行衡量，通过效能看板密切关注代码生成率、采纳率、QPS、生成耗时等关键指标，对产品的优化起到监督反馈效果。

④覆盖丰富场景（Full）

覆盖代码补全，技术对话，单元测试和代码诊断等关键编码阶段应用场景。

(3)腾讯企点营销云AI助手

落地背景及挑战

企业数据分析主要痛点：懂业务的人不会用分析工具、懂分析的人不一定了解业务、海量数据人工挖掘效率低、数据洞察依赖主观经验不够严谨。

产品方案

方案价值

基于腾讯云行业大模型在分析领域的应用服务。用户可以通过自然语言对话，实现找数查数、数据结论解读、智能归因及异常诊断，旨在企业提供专业、高效、易用、可信的智能分析服务。

①专业

结合行业知识在营销分析领域微调后的大模型，具备专业分析师思维，覆盖90%数据分析场景，及业界领先的问题识别率，客户个性化知识一学就会，更懂业务。

②高效

智能归因自动识别指标异动，海量数据也能快速定位影响因子，异常诊断可及时下发一线业务执行策略，定时看板解读任务和一键生产报告功能，轻松搞定周报日报。

③易用

对话式交互，只要懂业务，就可以实现数据查询及分析，根据业务数据推荐分析问题和分析指标，小白用户轻松上手，分析结果自然语言总结，不懂图表也能获得关键业务信息。

④可信

针对复杂问题，模型推理步骤可视化，分析结果对应配置参数/SQL可查看可验证，分析结果生成配置页面可查看可调整。

2. 路线二-标准模型能力增强

(1) 腾讯云大模型知识引擎

落地背景及挑战

大模型技术不断深化，加速生成式AI应用落地，推动新一轮的产业变革，IDC报告显示，知识管理、会话类应用目前最受企业者关注及青睐。然而，大模型到知识应用落地门还存在一定门槛，在典型知识服务应用包括知识问答、业务办理、知识总结等均有着不同程度的痛点。

①企业文档知识多样化，图文并茂，排版复杂用户问答效果及体验不可控。

②流程知识复杂度高，维护成本高自动化接待难度大。

③不同行业不同场景对于知识总结、信息提取存在差异化诉求。

面向这一背景，打造基于大语言模型的企业级知识应用构建平台，提供提供开箱可用的应用模版、可被集成的原子能力API，降低大模型接入到企业知识管理及会话应用场景的门槛，推动大语言模型在企服场景的应用落地。

产品方案

方案价值

①擅长处理企业级多模态复杂知识，支持最全常用格式与上百种文档场景，在表格问答、复杂公式、图文关联输出与数学计算等复杂场景，可满足企业知识库管理维护的多样化、专业性处理要求。

②依托OCR大模型解析引擎、多模态大模型、业内首个语义切分大模型与基于混元大模型技术的行业大模型，全链路解决复杂文档的解析、切分、检索、推理、生成等业界难题，端到端问答效果业内领先。

③多模态交互模式丰富，应用端支持多种输入、输出格式，提升交互体验。

易用

①使用门槛低，提供开箱可用的应用模板和可被集成的原子能力API两种便捷使用方式。

②工具链完善，支持自定义模型选择、角色设定、提示词自动优化、知识库管理及维护。

③一站式流程，支持对话测试-修正-发布-反馈增强的一站式处理。

(2) 向量数据库

落地背景及挑战

利用LLM和向量数据库，企业可以构建高效、智能的知识库系统，实现快速检索、语义理解和个性化推荐，提升企业知识管理和应用效率。

①挑战：

文档预处理、向量化门槛高，业务接入成本高，接入效果差。

产品方案

方案价值

(3) 腾讯云Cloud Studio

落地背景及挑战

①传统的应用开发常常面临：1、资源的限制 2、环境配置的复杂且不兼容问题

产品方案

方案价值

Cloud Studio，提供即开即用的在线开发环境，满足AI场景下大模型运算、图形计算等场景对GPU算力工作空间的需求，实现AI原生应用开发中提效降本与高效协作，对于教育行业创新应用与教学成果快速迭代、上线更具有长效价值。

3. 路线三-定制化模型精调训练

(1) 腾讯云TI平台

落地背景及挑战

大模型驱动“智慧涌现”，AI大模型的发展与运用，正在逐步贯穿到企业的设计、研发、生产、营销、服务全流程，助力企业创新的同时，帮助员工提效，加速云智一体进程，但是如何将大模型快速应用到自己的业务场景中仍然面临大量挑战。

第一，缺乏高质量行业知识数据。通用大模型在逻辑推理、常识问答等场景下有较好的表现，但是在垂直行业业务场景下效果往往差强人意，需要有大量高质量的行业知识数据，通过大模型训练优化，提升大模型在具体垂直行业业务场景下的能力。

第二，大规模并行训练稳定性要求高。由于大模型的训练参数量、数据量大，在进行大模型训练时，需要大量的GPU训练资源且训练周期长，对训练平台的断点续训、故障自动隔离、自动容错，异常感知等底座能力考验极大。

第三，计算资源少。大模型的训练和推理，对计算资源和存储资源有很高的需求，大规模分布式训练需要高效的资源调度管理系统，减少节点资源碎片，提高调度成功率，并需要灵活的任务优先级配置策略，进一步提升资源利用率。

产品方案

方案价值

①为客户提供丰富高质量的基底大模型。

腾讯云TI平台内置腾讯自研的超千亿参数规模混元大模型，其使用超2万亿token预料优化预训练算法及策略，并改进了注意力机器、开发思维链新算法，在多轮对话、知识增强、逻辑推理、内容创作等方面有优势能力。同时，基于大量垂直行业的业务数据，我们精调训练出金融、医药、教育、汽车等多个行业的行业大模型，降低了不同行业数据的彼此干扰，提升模型在行业垂类任务的性能。

②完善的工具平台支持“简单、稳定、高效”的大规模训练。简单，暨腾讯云TI平台为用户提供简单的大规模训练流程，内置精调物料，一键启动精调任务，最快仅需5步即可完成大模型精调落地。稳定，通过机器故障自动迁移、异常POD驱逐重新调度、自动断点续训，保障大模型训练任务的稳定性。高效，通过拓扑感知调度、gang调度策略，任务优先级配置策略等技术提高资源利用率，并通过自动注入通信配置、网络拓扑等相关参数提升开发效率和问题排查效率。

③提供算力、存储、计算多重优化加速能力。

通过自研的Angel加速框架，通过CPU&GPU异步调用提高吞吐，通过缓存定长和池化，提升参数支持规模，优化显存；自研大模型计算和并行优化方案，结合编译和手工优化，解决低配显存显卡无法训练超大模型问题；为用户提供三重加速优化。

(2) 腾讯云异构计算平台

落地背景及挑战

背景：AI已经进入了一个高速发展期，模型参数达到万亿级，在训推场景，对算力的规模、性能、容错、性价比提出前所未有的挑战。

①大模型训练场景痛点：

大模型AI场景下，对于训练效率要求非常极致，单纯堆叠计算节点存在“木桶效应”，存储、网络一旦出现瓶颈就会导致运算速度严重下降。

②推理场景痛点：

AI 推理是前向传播的用户请求计算过程；需要寻求低时延、大吞吐、低成本、低功耗之间的平衡。

③部署、易用的痛点：

AIGC 浪潮下，AI 应用部署和使用需求激增。因 GPU 等异构芯片的特殊性，自身部署使用难度大，涉及到选型、驱动安装、软件栈适配、版本兼容、应用部署等多重问题，中小企业及开发者望尘莫及。而且涉及到安全隐私问题，客户要求私有化或本地化部署，来运载自己的大模型及相关业务。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~ ， 【保证100%免费】

篇幅有限，部分资料如下：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/993405