亚马逊云科技赋能企业大模型应用

关键字: [亚马逊云科技中国峰会2024, MisMax, 大模型企业应用, 自然语言编程, In-Context Learning, 企业数据增强, 向量数据库检索]

本文字数: 1600, 阅读完需: 8 分钟

导读

蔡超老师在”大模型企业应用实践”的演讲中,讨论了如何利用大模型在企业应用中实现自然语言交互、数据检索和处理等功能。他解释了通过上下文学习(in-context learning)和REACT模式,可以让大模型与企业内部系统和数据进行交互,并生成所需的输出。他还介绍了Amazon Bedrock等基础设施,以及如何结合向量数据库、SQL数据库等进行数据检索和处理。蔡超老师的演讲为企业应用大模型提供了实践指导。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。

在当今生成式人工智能的时代,所有应用程序都应该被重新思考和重写。这种观点在企业中广为流传。蔡超老师从用户的角度开始感受到了这一点。人们更多地看到的是聊天机器人,或者最近出现的一个新词”call pilot”,取代了之前流行的”auto pilot”(自动驾驶)一词。

为了更好地理解这种思考方式,蔡超老师给出了一个例子。在他们的MaskCloud平台上,他们开发了一个名为MisMax的copilot。正如他的同事钟贤所介绍的,MaskCloud是一个相对抽象的平台。如果需要了解更多,可以与蔡超和钟贤联系。

MisMax copilot能够接收系统设计需求,并使用精确的UML进行表示。用户可以与它讨论设计,并让它直接根据设计生成代码和部署。如果您了解MaskCloud,就会知道它有一个”bundle”的概念,它集成了所有部署和配置。因此,在整个软件开发过程中,MisMax就像一个copilot或同事一样为您提供帮助。

观看了这个演示后,蔡超对交互重新设计的认知如下:首先,所有交互都应该采用自然语言进行,而不是像以前那样通过表单进行交互。其次,以前的交互是确定性的,没有像copilot那样的相互启发过程。蔡超认为,自然语言实际上是一种编程语言,每个人都将成为开发人员。

然而,并非所有的自然语言都可以作为良好的编程语言。蔡超给出了一个简单的例子,展示了如何通过自然语言查询来自动生成SQL语句并获取数据,而不是像传统方式那样通过表单组织SQL语句。

接下来是一个实际演示,展示了如何使用自然语言提示生物成绩大于80分的学生,并自动生成相应的SQL查询。该程序的提示词放在了幻灯片的左侧。甚至可以让它生成所需的图表。蔡超解释说,只需要提供数据库schema和列的介绍,就可以让大模型根据提示词生成所需的查询。

蔡超强调,自然语言确实是一种编程语言,但由于需要将大模型与企业应用程序集成,因此与玩ChatGPT不同。当ChatGPT生成SQL时,它还会生成大量解释性的自然语言,而企业应用需要的是对程序友好的结果,而不是供人理解的结果。因此,需要对提示词做出一些约束,例如只返回SQL、返回JSON字符串,或在无法生成结果时返回错误码等。

蔡超进一步解释了大模型与传统任务型AI的区别。传统AI是基于大量数据训练某个特定任务的,而通用AI则采用上下文学习(in-context learning)的方式。他给出了两个上下文学习的例子:少量示例学习(few-shot learning)和零示例学习(zero-shot learning)。通过这些例子,蔡超展示了大模型如何通过少量或零示例,就能学会识别新知识,而无需大量数据。

接下来,蔡超讲解了如何让大模型与企业内部系统集成。他介绍了一篇名为”Reasoning and Acting”的论文,阐述了如何利用大模型进行推理,并与外部插件或函数交互以获取实时数据。他解释了如何通过提示词引导大模型按照”sort-action-observation”的模式进行思考和迭代,最终得出结论。

蔡超描述了一个典型的copilot或代理(agent)技术栈。基础设施层可以自行搭建,也可以使用亚马逊云科技的Bedrock平台。Bedrock提供了各种模型的统一访问接口,并带来了安全性和治理等优势。在Bedrock上,可以直接构建代理,利用Lambda函数与外部系统交互,实现检索增强生成(RAG)等功能。Bedrock拥有广泛的模型选择,用户可以根据需求选择性价比最高的模型。

对于企业内部数据的集成,蔡超提出了一种简单的方法。如果数据量不大,可以直接将所有数据放在提示词中提交给大模型,避免复杂的架构。但在大多数情况下,企业数据量庞大,因此需要将文档切分为碎片,并选取与问题相关的数据片段提交给大模型进行增强和回答。

蔡超指出,并非所有情况都需要使用向量数据库。有时只需从键值存储、SQL数据库或Grafana等合适的存储中获取指标数据即可,没有必要将所有数据导入向量数据库。对于需要语义匹配的自然语言文档,可以使用嵌入向量化技术,通过计算向量距离来获取语义相似性。

在企业copilot或代理的技术栈中,向量数据库是一个可选组件,具体取决于数据的性质。除了向量数据库,还需要一个编排层(orchestration layer)来协调大模型与外部插件的交互,常见选择包括Semantic Kernel和LangChain等。

蔡超简要介绍了Bedrock平台的功能,用户可以像在HuggingFace上一样查找和使用各种模型。他还分享了一个二维码,观众可以通过扫码获取更多详细信息、源代码和视频资源。

最后,蔡超回答了现场观众提出的几个问题:

1. 关于大模型的幻觉问题,蔡超建议可以通过微调(如LoRA)和验证层(另一个代理模型)来消除幻觉的影响。
2. 在广告行业中,他们使用大模型进行标签分类和视频生成等应用,但在线广告请求的高QPS场景下暂时无法使用大模型。
3. 国内有一些企业AI应用社区和论坛,如极客邦、InfoQ、CSDN等,观众也可以在蔡超的公众号上留言交流。
4. 对于结合结构化和非结构化数据的场景,可以在一个会话中同时使用两个工具分别访问不同类型的数据,并将结果一起提交给大模型进行综合和转换。
5. 在高并发场景下,Lambda函数可以自动扩展以满足需求,但大模型的token率有限,可能无法承载极高并发。

总的来说,这场演讲全面阐述了大模型在企业应用中的实践经验,并分享了一些具体的技术细节和解决方案,对于企业落地大模型应用具有很好的指导意义。

下面是一些演讲现场的精彩瞬间：

在亚马逊云科技中国峰会2024上,演讲者分享了他对当前生成式AI时代的看法,认为所有应用都应该重新设计以适应新时代的需求。

亚马逊云科技中国峰会2024上,演讲者阐述了通用人工智能(General AI)与传统任务型人工智能(Task-Oriented AI)的区别,并分享了亚马逊在零售领域应用机器学习的经验。

在亚马逊云科技中国峰会2024上,演讲者详细解答了关于大型语言模型微调和幻觉问题的疑问。

一位与会者提出了一个关于如何将非结构化数据和结构化数据相结合,并通过大模型输出自然语言结果的技术问题。

在亚马逊云科技中国峰会2024上,演讲者介绍了如何利用亚马逊云服务和大模型处理Excel数据,实现无服务器部署,极大简化了数据处理流程。

亚马逊云科技中国峰会2024上,演讲者分享了亚马逊Lambda函数的优势,可以自动扩展处理大量并发请求,同时具有经济高效的特点。

总结

亚马逊云科技中国峰会2024上,蔡超老师分享了企业如何利用大模型进行应用实践。他首先介绍了大模型时代,企业应用需要重新思考,采用自然语言交互的设计理念。接着,他演示了一个名为MISMax的企业级AI助手,可以通过自然语言指令生成系统设计、代码和部署等。

蔡超老师强调,大模型与传统AI的区别在于采用上下文学习(In-Context Learning),无需大量数据即可学习新知识。他举例说明了Few-Shot Learning和Zero-Shot Learning的应用场景。他还介绍了React模式,即通过提示词(Prompts)引导大模型与外部工具交互,实现推理和行动。

为解决大模型与企业数据的结合问题,蔡超老师提出了将企业数据切分为碎片,通过向量化等方式检索相关碎片,并将其与提示词一并输入大模型。他强调要根据数据特点选择合适的存储方式,而非盲目使用向量数据库。最后,他介绍了Amazon Bedrock等基础设施,以及语义内核(Semantic Kernel)等编排层的选择。

蔡超老师呼吁企业应用大模型时,要理解大模型的本质,采用合理的架构和最佳实践,而非追求时髦的技术方案。他表示亚马逊云科技提供了完整的大模型应用解决方案,并分享了相关资源获取途径。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。