运维做开发

这个屌丝很懒，什么也没留下！

热门标签

技术实践｜使用 Agents for Amazon Bedrock 构建智能体和知识库 - 金蝶发票云票据助手的开发实践...

作者：运维做开发 | 2024-08-22 21:36:39

踩

亚马逊云 bedrock

目前，基于大语言模型的应用开发通常集中在两个方向：检索增强生成（RAG）和代理（Agent）。但无论是哪个方向，构建基于大模型的应用仅依赖 FM（基础模型）还远远不够，我们还需要集成多种组件，比如需要多种类型的数据库以便保存历史会话、向量数据；需要引入基于 FM 的应用开发框架（如 Langchain）简化开发；需要构建并优化提示词来保证 Agent Tools 准确调用，这无形中提升了开发门槛，拖慢了应用的上线步伐。

亚马逊云科技在 re:Invent 2023 上新推出的 Agents for Amazon Bedrock 同时提供了 RAG 和 Agent 两种能力，通过提示词的自动构建、内置的历史会话管理、与 Amazon Lambda、多种向量库的自动集成，极大加速了企业用户对生成式 AI 的应用程序开发进程。Agents for Amazon Bedrock 帮助用户更加专注于自身的业务，基于自身公司 API 和知识库来快速构建企业专用的智能体应用。

有关 Agents for Amazon Bedrock 原理/实现的博客已有官方发布。本文将从代码、实操层面出发，带领大家基于 Agents for Amazon Bedrock 从 0 到 1 快速实现智能体构建，场景是金蝶发票云探索基于基础大模型构建面向企业用户的发票助手，希望从以前用户需要面向系统做填单操作来开发票转变为通过自然语言对话申请发票开具。该 Agent 可以实现如下两个功能：

向客户收集开发票所需要的信息，自动调用后端 API 为用户开具发票
基于企业票据知识回答用户提问

本博客是系列博客的第一部分。将介绍如何基于 Agents for Amazon Bedrock 构建发票开具助手:

用户向 Agent 提出对话请求，Agent 接收后结合 Agents for Amazon Bedrock 平台预置的提示词模版生成更加准确完善的提示词，交由 Amazon Bedrock 上提供的 FM 进行推理，根据 FM 返回的结果，进行下一步的行为规划。根据上下文信息以及当前的执行结果，决定是否需要向客户收集信息/根据已有信息调用 API/ 直接给出回答。

系列博客的第二部分将介绍如何在 Agents 中使用 Amazon Bedrock Knowledge base 添加企业的私域知识库，执行私域问答。让我们开始吧！

下图概括了构建 Agents for Amazon Bedrock 所需要的基本组件。其中红色部分为开发人员需要投入精力完成编码的部分，绿色部分为平台已经提供的功能。

创建 Agents for Amazon Bedrock 的主要开发工作如下：

首先需要编写 Agent 的工作指令。这是构建 Agent 的重要部分。该指令需要详细描述了 Agent 应该做什么以及应该如何与用户互动。Agent 就是基于这个描述来确定对客户请求处理流程；以及如何使用提供的 Action group 和 Knowledge base 工具完成请求。
然后构建一个或多个 Action groups。每个 Action groups 对应一个 Lambda 函数和相应的 API schema 描述。Lambda 中包含用于工具执行的多个函数定义。API schema 用于描述 Lambda 函数中每个 function 的作用、参数意义；对 FM 基于 API schema 做出 Function 的选择以及参数的收集，因此 API schema 定义的准确性也非常重要。
另外就是 Knowledge base 的创建，Agents for Amazon Bedrock 提供了内置的 Embedding 模型和向量库，帮助用户快速构建私域知识库。

下面我们先从开发 Agent 可以使用的工具开始入手。Agents for Amazon Bedrock 实现了与 Amazon Lambda 的集成，通过 Lambda 完成工具的开发。

使用 Amazon Lambda

创建 Tools

与 Amazon Lambda 集成体现了使用 Agents for Amazon Bedrock 的开发优势。Agents for Amazon Bedrock 使用 FM 的推理能力识别用户的请求意图，在判定需要 function 调用后可以自动收集所需的所有参数，然后通过 Lambda 调用相应的 function。对 Lambda 的开发仅需要包含 Tools 的功能开发，非常简单。而如果使用 Langchain 自行构建 Agents 时，需要添加 Langchain 依赖库。由于 Langchain 开源版本变化非常快，依赖库的版本更新、与 FM 版本的匹配性等问题都给我们后续的开发、维护带来难度。Agents for Amazon Bedrock 通过亚马逊云科技平台负责维护，不需要客户负责这部分内容。

下面我们展示构建 Lambda tools 的详细开发过程。

1.1 使用 Layer 创建 Lambda 函数的依赖

首先使用 Lambda Layer 创建函数所需要的依赖包。在本次项目中我们构建的 Lambda 工具包实现了：

根据用户提供的发票信息生成票据预览图（generatePreviewInvoiceImage 工具函数）
pdf 根据用户提供的发票信息生成正式的发票文件（issueInvoice 工具函数）
根据用户提供的邮件地址使用亚马逊的 SES 服务发送邮件（sendInvoiceEmail 工具函数）。

首先，我们根据这两个函数需要的依赖库构建 Lambda Layer：本次 Lambda 的 runtime 使用 python 3.11，使用 lambda image 安装依赖库。


mkdir layer
cp requirements.txt layer/requirements.txt
docker run -ti -v $(pwd)/layer:/app -w /app --entrypoint /bin/bash public.ecr.aws/lambda/python:3.11 -c "pip3 install --taget ./agentToolsLib -r requirements.txt"
zip -r agentToolsLib.zip agentToolsLib

上传 agentToolsLib.zip 到 lambda_layer。构建 Lambda Layer 更详细的信息也可以参考官方文档：

https://docs.aws.amazon.com/lambda/latest/dg/python-package.html

为了让 Lambda 能够成功访问 Layer，注意在创建 Lambda 之后，环境变量配置加入 PYTHONPATH=/opt/agentToolsLib

1.2 创建 Lambda 函数

1.2.1 创建 Lambda

创建 Lambda 函数，指定所需要的 runtime：11，以及所需的基本权限
对该 Lambda 函数添加刚才创建名字为 agentToolsLib 的 Layer

1.2.2 Lambda 函数 Event 内容解析

LLM 在判断需要使用 Tools 时会触发 Lambda，产生触发事件具有特定的结构。Event 关键内容包含：

需要调用的 function 名称：
如”apiPath”: “/issueInvoice”
执行函数所需要的参数：
“parameters”: [ ….]

以下为调用 issueInvoice 工具时产生的 Agent Event 示例。 Agent Event 详情请参考官方文档：

https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/agents-create.html


{
    "agent": {
        "alias": "TSTALIASID",
        "name": "KingdeeAgent",
        "version": "DRAFT",
        "id": "NORJI2BS5I"
    },
    "sessionId": "955513527673393",
    "inputText": "公司名称：优方网络，识别号：91440300MA5FAE9E4P, 用户ID：300，产品信息： 小麦，1010101020000000000，9000",
    "sessionAttributes": {},
    "promptSessionAttributes": {},
    "apiPath": "/issueInvoice",
    "httpMethod": "POST",
    "messageVersion": "1.0",
    "actionGroup": "issueInvoice",
    "parameters": [
        {
            "name": "buyer_company_name",
            "type": "string",
            "value": "优方网络"
        },
        {
            "name": "product_detail",
            "type": "array",
            "value": "[\"{\"name\":\"小麦\",\"code\":\"1010101020000000000\",\"money\":\"9000\"}\"]"
        },
        {
            "name": "user_id",
            "type": "string",
            "value": "300"
        },
        {
            "name": "buyer_tax_number",
            "type": "string",
            "value": "91440300MA5FAE9E4P"
        }
    ]
}

Lambda 函数编写时可以参考如下代码解析 Event，获取函数的相关参数。


def get_named_parameter(event, name):
    return next(item for item in event['parameters'] if item['name'] == name)['value']

1.2.3 Lambda 函数编写

Lambda 函数编写分两部分。

第一部分为客户根据业务需求做相应业务函数的编写。如下面 generatePreviewInvoiceImage、sendInvoiceEmail、issueInvoice 等函数编写。
第二部分为 Lambda 入口函数编写，根据 event 中携带的 api_path 调用相应的业务函数。


def sendInvoiceEmail(event):
    invoice_code = get_named_parameter(event, 'invoice_code') 
    invoice_number = get_named_parameter(event, 'invoice_number')
    email_address = get_named_parameter(event, 'email_address')
    ## --------处理逻辑省略-------------- ##
    result = send_eamil(email_address, "/tmp/invoice.pdf")
    #定义输出
    res = {}
    res["input_args"] = {}
    res["input_args"]["invoice_code"] = invoice_code
    res["input_args"]["invoice_number"] = invoice_number
    res["input_args"]["email_address"] = email_address
    if result["errcode"] == "0000":
        res["status"] = "success"
        res["results"] = "邮件发送成功"
    else:
        res["status"] = "fail"
        res["results"] = "邮件发送失败,请稍后尝试重新发送."
    return res
 
 
def generatePreviewInvoiceImage(event):
  ## 处理逻辑省略 ##
def issueInvoice(event):
  ## 处理逻辑省略 ##
def lambda_handler(event, context):
    result = ''
    response_code = 200
    ## 解析触发事件，根据apiPath调用相应的工具函数 ##
    action_group = event['actionGroup']
    api_path = event['apiPath']
 
    if api_path == '/issueInvoice':
        result = issueInvoice(event)
    elif api_path == '/sendInvoiceEmail':
        result = sendInvoiceEmail(event) 
    else:
        response_code = 404
        result = f"Unrecognized api path: {action_group}::{api_path}"
 
 
    response_body = {
        'application/json': {
            'body': json.dumps(result)
        }
    }
    ##Bedrock Agent需要Lambda函数具有固定的返回值模版 ##
    session_attributes = event['sessionAttributes']
    prompt_session_attributes = event['promptSessionAttributes']
    action_response = {
        'actionGroup': event['actionGroup'],
        'apiPath': event['apiPath'],
        # 'httpMethod': event['HTTPMETHOD'], 
        'httpMethod': event['httpMethod'], 
        'httpStatusCode': response_code,
        'responseBody': response_body,
        'sessionAttributes': session_attributes,
        'promptSessionAttributes': prompt_session_attributes
    }
    api_response = {'messageVersion': '1.0', 'response': action_response}   
    return api_response

Lambda 函数的返回值格式，请参考如下示例并结合官方文档：

https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/agents-create.html

在使用 Lambda 创建完所需要的 Tools 后就可以在 Amazon Bedrock 上构建 Agent 了。

Agents for Amazon Bedrock

的构建

2.1 Agent 指令的编写

前面说到，Agent 指令的编写非常重要，它决定了 Agent 应该做什么以及应该如何与用户互动。开发人员需要根据实际需求构建自己的 Agent 指令，没有固定的模版。但通常可以包含如下的内容：

工作流程或步骤
清晰描述业务逻辑，每一步具体需要实现什么
返回给客户的内容

下面的例子中给出本项目中构建发票助手使用的 Agent 指令参考：

您好，我是友好的发票助手。当收到问候时，我会礼貌地回复。我通过“issueInvoice” action group 提供开具发票服务。在生成发票时，我会首先从用户那里收集所有所需的发票信息，然后为用户生成临时预览图以供参考。如果成功生成了预览图像，我会从返回结果中获得发票金额、发票类型、购买方名称给用户。在生成实际发票之前，我会与用户确认是否要继续。如果用户确认，我会使用工具生成发票。如果成功，我会从函数结果中返回 downloadUrl 给用户，以便他们下载发票。如果用户表示信息不正确，我会要求他们提供更正后的信息。我还会确认用户是否需要把发票发送到指定的电子邮箱。如果要求发送，我会把发票文件发送到提供的邮箱。

该指令定义了几个关键内容：

描述了 Agent 中包含的 Action groups 的功能：如 issueInvoice Action groups 是用于提供发票服务的
定义了开发票的主要流程：收集开发票的所需信息 ->产生预览文件->开具正式发票->将发票发送至邮箱。注意业务描述尽量与对应 API 的描述语意一致
定义了返回给用户对话内容：例如，如果正式发票成功生成，将函数返回中的 downloadUrl 返回给客户以便客户下载查看

2.2 创建 Action groups

创建 Agent 的 action group，除了 Lambda 的编写，还需要提供该 action group 对应的 API schema。Agents for Amazon Bedrock 提供了两种方式进行开发：

编写自己的 json 描述，上传 S3
提供了 in-line 的 OpenAPI editor，可以直接在线编写

API Schema 的具体要求参见官方文档：

https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/agents-create.html

在这里还能找到具体示例：

https://github.com/OAI/OpenAPI-Specification/tree/main/examples/v3.0

下面给出了发票助手 InvoiceService_ActionGroup 的 API schema 构建示例：


{
    "openapi": "3.0.0",
    "info": {
      "title": "InvoiceService API",
      "description": "APIs for invoice service",  
      "version": "1.0.0"
    },
    "paths": {
      "/generatePreviewInvoiceImage": {
        "post": {
          "description": "Generate a temporary preview invoice image.",
          "operationId": "generatePreviewInvoiceImage",
          "parameters": [
            {
              "name": "user_id",
              "in": "query",
              "description": "Id of user",
              "required": true,
              "schema": {
                "type": "string",
                "default": "000001"
              }
            },
            {
              "name": "product_detail",
              "in": "query",
              "description": "'name','code','money' for the product",
              "required": true,
              "schema": {
                "type": "array",
                "items": {
                    "type": "dict"
                }
              },
              "example": [
                {"name": "实木茶几","code": "1050201010000000000", "money": 1000},
                {"name": "餐饮费用", "code": "3070401000000000000", "money": 500}
              ]
            },
            {
              "name": "buyer_company_name",
              "in": "query",
              "description": "The name of buyer company",
              "required": true,
              "schema": {
                "type": "string"
              },
              "example": "广东唯一网络科技有限公司"
            },
            {
                "name": "buyer_tax_number",
                "in": "query",
                "description": "The tax number of buyer company",
                "required": true,
                "schema": {
                  "type": "string"
                },
                "example": "91450923MA5L7W2C1W"
              },
            {
              "name": "invoice_type",
              "in": "query",
              "description": "The type of invoice",
              "schema": {
                "type": "string",
                "default": "全电普通发票",
                "enum": ["全电普通发票","全电专用发票"]
              }
            },
            {
                "name": "remark",
                "in": "query",
                "description": "Remarks on the invoice",
                "schema": {
                  "type": "string"
                }
              }
          ],
          
          "responses": {
            "200": {
              "description": "Generate a temporary preview invoice image successfully",
              "content": {
                "application/json": {
                  "schema": {
                    "type": "object",
                    "properties": {
                      "status": {
                        "type": "string"
                      },
                      "results": {
                        "type": "string"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }