基于亚马逊云科技Amazonbedrock构建您的生成式AI应用_借助amazon bedrock knowledge base加速生成式ai应用构建

关键字: [亚马逊云科技中国峰会2024, Amazon Bedrock, 生成式Ai应用构建, 基础模型定制, 数据安全隐私, 连接数据源, 基础设施管理]

本文字数: 2800, 阅读完需: 14 分钟

导读

在亚马逊云科技中国峰会2024上,黄俊杰介绍了如何基于Amazon Bedrock构建您的首个生成式AI应用。他解释了生成式AI的概念和在人工智能家族中的位置,以及Amazon Bedrock如何帮助解决构建生成式AI应用中的挑战。他重点介绍了Amazon Bedrock Agents如何通过编排任务、调用API和管理云资源,为基础模型提供框架以完成复杂任务。他还介绍了Amazon Bedrock的知识库功能(RAG)和负责任AI功能。最后,他分享了开启生成式AI之旅的三个步骤:选择合适的场景、利用培训资源培养技术人员、与亚马逊专家合作构建概念验证。

演讲精华

以下是小编为您整理的本次演讲的精华，共2500字，阅读时间大约是12分钟。

生成式AI的概念简介 生成式AI就是一种模型,它可以生成接近于人类原创内容的内容,这些内容可用于各种不同的任务,如问答、文本总结、图像生成和设计等,这些都是生成式AI所擅长的领域。它基于大量高质量的语料库(如维基百科、百度百科等)进行预训练,拥有数十亿的参数,相比以前的小模型,参数量是大大不同的。基于这些生成式AI模型构建应用程序,可以大大缩短构建AI应用所需的时间。因为以前构建AI应用,你需要去标记数据、收集数据、清洗数据。而现在大模型也就是基础模型,也就是生成式AI的这些模型,它是能够凭自身的能力,加上你一些简单的自然语言指令,可能就能满足你的任务,这就是为什么它能缩短时间。比如你可以在PubMed里面搜索癌症这种论文的摘要,你可以跨论文去总结这些摘要,从这些摘要里面找出一些行业的趋势,一些新药研发的方向,这也是一个不错的一个使用场景。

生成式AI在人工智能大家族中的定位 人工智能就是一切可以模仿人类智能的行为或程序,它可以是定义好的逻辑,如if-then或if-else这种简单程序,也可以是机器学习。在生成式AI来之前,大家基本上可以说机器学习等于AI。但现在AI的话题已经移到生成式AI里面去了。机器学习是人工智能的一个子集,它利用机器去发现数据里面的规律,以自动化构建逻辑模型,并使用模型的泛化能力去处理未来任务。比如在电商场景里面,有类目预测的任务,如果没有这个在电商数据里训练的机器学习模型,可能会将”iPhone”或”苹果”判断为水果而不是手机。

深度学习又是机器学习的一个子集,它从浅层模型逐步发展成深度神经网络模型。深度学习模型最后就来到了生成式AI,即在大量未标记语料库上预训练而生成的大型基础模型。

基础模型有不同类型。首先是文本到文本模型,顾名思义就是输入输出都是文本。这种模型可以做许多不同工作,比如在PubMed上搜索癌症论文摘要,跨论文总结摘要,从中发现行业趋势、新药研发方向,这是不错的应用场景。

下一种是向量模型。向量是一串浮点数,有维度定义,假如是1024维就是1024个浮点数。它用来将文字变成向量,这个向量能帮助更好地找到文本与文本之间的语义关系。就比如再回到”苹果”和”iPhone”的例子,单纯关键词匹配是找不到关系的,但基于向量模型就可以生成向量找到它们的关系。

第三种是多模态模型,输入可以是文本,但输出不限于文本,还可以是视频、图像。大家现在已经已经看到非常多的视频的这个生成模型了,图的模型我也不用特说,就是Stable Diffusion等等。甚至有些模型它的输入也不是文字,它是图等等,对吧?其实这些都可以称为多模态模型。

推进生成式AI应用落地的条件 要推进或加速生成式AI应用落地,我们需要满足以下条件:第一是用最简便的方式构建,不要去麻烦自己买GPU、打Docker、找推理框架、找开源模型、处理并发和批处理等,建议用最简便方式。第二是实现数据差异化,这是价值所在。我们需要在安全私有环境下部署传输这些有价值的知识产权数据,确保数据不会泄露。第三是用AI提高生产力,无论是内部员工效率还是产品性能优化,都可以加速落地。第四是采用高性价比基础设施,因为生成式AI不便宜,需要以最低成本满足尽可能多用户。

构建生成式AI应用的挑战 构建生成式AI应用并不简单,需要考虑以下挑战:首先是模型快速迭代,每天都可以听到一个新的生成式AI的一个更新,就是今天这个单模型很厉害,第二天就易主了。经常是有这种情况,你很难说去绑死一个模型,甚至是就是你绑死的那个模型,它都出了新一代,你可能都要去绑一个新的模型,所以这些这是一个困难点,就是经常你要跟上这些节奏,又不能太过于地去改变你这个应用的架构。其次是定制基础模型,一个基础模型它本身是没办法去访问,就是接访问到你们自己私有的数据的。试问就是比如说我们Ansorby、Cloud 3这种模型,它怎么去得获取,你默认怎么获取,但你公司的数据,除非你数据泄露了对吧?你不可能对吧?所以你需要去有一些手脚帮你去接触到这些数据,让你的模型能够去接触到这些数据,去实现定制模型这个这个场景,去定制这个模型,去满足你们自己私有的任务。第三是维护数据安全隐私,这个就不用太说多说了,就是你需要有一个安全的环境,你要看这些数据,你要定义这些数据分享的方式,各种的东西。第四是连接不同的数据源,那可能不一定是就是说都是连接RAG的向量数据库,它可能你要连接一个检索引擎对吧?你可以连接一个网页爬虫出来的数据,甚至是你们公司Conference的这些数据对吧?这都是可以的。最后是管理基础设施,这里面如果你们有数据客销团队专业做这个,往往很多药企他们都想专心地做自己的核心业务,这件事情会去对他来说产生非常大的一个一个负担。

亚马逊Bedrock的解决方案 为解决这些难点,我们推出Bedrock。首先,通过单一API可调用多个模型,减轻更新模型时改变应用架构的负担。其次,可将数据安全存储在数据库、S3或VPC,并定义访问策略、与谁共享,还可通过私有专线或VPC访问,实现数据不跨公网。第三,Bedrock Agent框架可帮助围绕模型构建框架执行任务。第四,支持RAG(检索增强生成),可连接不同数据源。最后,提供负责任AI指南,让您定义有害话题,模型不会回答。

使用Bedrock构建生成式AI应用的步骤 使用Bedrock构建应用需经历以下步骤:第一是选择正确基础模型。不同模型有不同能力,需根据语种、实时性需求等选择合适大小。我重点介绍三个模型:亚马逊CROSS 3模型目前在人工评测排行榜上名列前茅;Command Retriever Plus是Transformer公司的商业RAG模型,各种语言都可胜任;行业领先的开源模型LLaMa,我们提供微调能力,甚至可导入市面上微调后的LLaMa模型。

但无论模型再强,它也是一个模型,就是说在这个基础模型,它仅凭自己是无法完成任务的,它是需要一些手脚,钢铁侠也离不开它的盔甲,他钢铁侠本身这个人是非常有智能的,但是他需要盔甲才能去战斗。其实这个事情跟基础模型是一模一样的道理,基础模型也需要具备一个框架去让他去执行任务。

使用Bedrock执行任务,我们有4简单的四步,我们先定义列指令跟编排是实际上是Prompt提示词,以及各种编排的步骤。那第二部分就是说我们配置技术,我们已经访问你们公司的数据源,可能是个API,可能是一个RDS的连接。那第三个就是说你可以通过API去调用操作,那你可以定义你们公司自己的API,让Agent然后定义好调用这些API的条件,然后让大模型自己去思考什么时候去调什么API,完成什么任务。最后就是要管好一些云托管的资源,还有一些策略的问题。

Bedrock Agent就是做这个事情的,它可以帮你去编排你的任务,可以帮你自主地去调用你的API。通过你定义的条件,那我们默认的这个提示词就已经能大部分满足大部分的复杂需求。您可以直接去试用这个Able Song Bear Agent去满足一些东西,比如说这个文献总结,比如说我要做一些星耀研发的这个趋势分析,比如说我们销售的数据统计,这种各种场景我们的推荐,我们会用Agency of a for Amazon barlog去尝试能不能满足到你的需求。

Bedrock的知识检索能力 Knowledge Retrieval for Bedrock就是RAG,即检索增强生成。我们之前提到向量模型可找到文本间语义关系,这项技术也应用于RAG中,帮助检索最相关内容作为问题背景信息提示给大模型,从而生成更准确、包含企业知识的回复。并且我们Amazon barror还提供Citation,也就是原文引用的能力,你每每问一个问题,大家都可以告诉你,我回答你这个问题是基于你导入给我的哪个文档来回答的。

Bedrock的负责任AI能力
最后一个重点就是Responsible,AI get real for barrock就是为这个而生的,每个公司都有自己的这个policy,那Amazon barrier get real,它可以通过定义,用自然语言定义你一些有害的话题,比如说跟这个政治有关的,你可能不希望他搞对吧,比如说他问一些私人的问题,你不想让他搞,你都可以用自然的语言的方式去定义出你不想他回答了,语一个有害的话题,然后以简短的语言说对不起,我回答不了。

开启生成式AI之旅的步骤 讲了这么多,最后我已经讲了这个AI的基础概念,以及BEAROUT基础概念,希望大家有一个非常有的全面的这么一个认知。那接下来我介绍一下如何开启我们这个Genai就native AI,就是生成式AI之旅。那第一步要选择你合适的场景。上午壮总其实已经介绍到了我们有一些很合适的场景,比如说临床试验的方案设计优化,比如说一些医学翻译的场景,比如说用我们这些CRM系统的一些Summary的数据,或者是每一条的访问拜访问的数据,去总结出一些Express Action对吧?比如说不良反应的这个,报告的这个总结,对吧?都是可以尝试的场景,选择合适你公司的场景开始做。

第二步就是利用我们免费提供的一些一些培训资源去培训我们的技术人员。那我们Amazon其实在Cocera这个平台等平台,还有b站各种平台都跟Angel Wu,就是我们新的新任的这个吴达,这个今天我们的mm爽的这个董事会的成员,联合各种的这个AI教育家创办了一些就能推AI,就深圳市AI的这些基础课程是免费的,可以用它来赋能你们的技术人员,让他们能够更好地知道深圳CI能做什么,还有一些技术相关的事情。

最后一步就是联系我们Accounting,我们亚马逊,我们的专家可以陪你去构建你的POC,也是我们所谓的概念认证。那我们这里其实也有一个Amazon generate AI Innovation center,也就是我们的深城市AI创新中心,这是我们亚马逊投资的一个亿的这么一个项目,它可以帮助你一起去找到你合适的场景,并且跟你们的利益相关者,还有跟业务的相关人员一起去推进你想做的这个深层次EA的业务。

相关资源分享 那最后就是一些有效的资源,大家可以扫码,这里面有一些动手实验,有教学视频,也有我们Mr的这个官网,大家都可以去扫描。后续有什么问题联系你们的account team或者是联系我也可以,然后我们可以一起去来做一些动手实验。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技中国峰会2024上,演讲者介绍了如何基于Amazon Barra构建首个生成式AI应用。

亚马逊云科技中国峰会2024:无论模型再强,它也是一个模型,需要基础设施作为”盔甲”才能发挥作用。

亚马逊云科技中国峰会2024上,演讲者详细阐述了如何利用亚马逊人工智能技术定义指令、访问数据源、调用API以及管理云资源,为企业提供全面的人工智能解决方案。

亚马逊云科技通过 Amazon Bedrock Agents 实现任务编排和自主 API 调用,满足复杂需求并提供一系列框架和模型,助力企业完成各种复杂任务。

亚马逊云科技中国峰会2024上,演讲者介绍了亚马逊的RAG(Retrieval Augmented Generation)技术,可以通过向量模型找到文本语义关系,并结合大模型生成准确的企业知识回复。

亚马逊云科技中国峰会2024上,亚马逊云科技负责人强调了AI的”负责任”发展,通过自然语言定义有害话题,确保AI不会回答涉及政治、隐私等敏感问题。

演讲者分享了一些有用的资源链接,包括动手实验、教学视频和官网,并鼓励观众扫码获取并与他们互动交流。

总结

亚马逊云科技中国峰会2024上,解决方案架构师黄俊杰分享了关于基于Amazon Bedrock构建生成式AI应用的见解。他首先介绍了生成式AI的概念,它是一种可以生成接近人类原创内容的模型,能够缩短构建AI应用的时间。接着,他阐述了生成式AI在人工智能家族中的地位,以及与机器学习和深度学习的关系。

黄俊杰强调,构建生成式AI应用需要考虑多个方面,如跟上模型更新、定制基础模型、维护数据隐私和连接数据源等。他介绍了Amazon Bedrock Agents如何帮助编排任务、调用API并管理云资源。此外,Knowledge Guided Bedrock (RAG)能够以低成本定制行业应用,并提供原文引用能力。Amazon Bedrock还具有负责任AI的功能,可以定义有害话题并拒绝回答。

最后,黄俊杰分享了开启生成式AI之旅的三个步骤:选择合适的场景、利用免费培训资源培养技术人员、与亚马逊专家合作构建概念验证。他还提供了一些有用的资源链接,欢迎大家继续探索。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。