使用生成式AI增强AWS智能文档处理_aws textract 提高识别质量

数据分类、提取和分析对于处理大量文档的组织来说可能具有挑战性。传统的文档处理解决方案是手动的、昂贵的、容易出错的,并且难以扩展。利用Amazon Textract等AI服务,AWS智能文档处理(IDP)允许您利用业界领先的机器学习(ML)技术来快速准确地处理任何扫描文档或图像中的数据。生成式人工智能(生成式AI)补充了Amazon Textract,以进一步自动化文档处理工作流程。诸如标准化关键字段和汇总输入数据等功能支持更快地管理文档流程工作流程,同时减少错误的可能性。

生成式AI由称为基础模型(FMs)的大型ML模型驱动。FMs正在改变您可以解决传统上复杂文档处理工作负载的方式。除了现有的功能之外,企业需要汇总来自诸如财务报告和银行对账单等文档的特定类别的信息。FMs使从提取的数据中生成此类见解变得更加容易。为了优化人工审核所花费的时间并提高员工的工作效率,可以以自动化的方式标记诸如电话号码中缺少数字,缺少文档或地址中缺少门牌号等错误。在当前场景中,您需要投入资源通过人工审核和复杂的脚本来完成这些任务。这种方法既乏味又昂贵。FMs可以帮助以更快的速度、更少的资源完成这些任务,并将不同的输入格式转换为可以进一步处理的标准模板。在AWS,我们提供诸如 Amazon Bedrock 等服务,这是使用FMs构建和扩展生成式AI应用程序的最简单方法。 Amazon Bedrock是一个完全托管的服务,通过API提供来自领先的AI创业公司和Amazon的FMs,以便您可以找到最适合您要求的模型。 我们还提供Amazon SageMaker JumpStart,它允许ML从业人员从广泛的开源FMs中进行选择。 ML从业人员可以将FMs部署到专用Amazon SageMaker 实例中从一个网络隔离的环境中,并使用SageMaker定制模型进行模型训练和部署。

Ricoh 提供旨在帮助客户管理和优化业务信息流的工作场所解决方案和数字化转型服务。产品组合解决方案开发副总裁Ashok Shenoy说:“我们正在将生成式AI添加到我们的IDP解决方案中,以帮助客户利用诸如问答、汇总和标准化输出等新功能更快、更准确地完成工作。 AWS允许我们在保持每个客户的数据分离和安全的同时利用生成式AI。”

在本文中,我们将分享如何使用生成式AI增强AWS上的IDP解决方案。

改进IDP流程

在本节中,我们将回顾如何通过FMs增强传统的IDP流程,并通过Amazon Textract与FMs的示例用例进行演练。

AWS IDP由三个阶段组成:分类、提取和扩充。有关每个阶段的更多详细信息,请参阅使用AWS AI服务进行智能文档处理:第1部分和第2部分。在分类阶段,FMs现在可以在没有任何额外训练的情况下对文档进行分类。这意味着即使模型之前没有见过类似的示例,也可以对文档进行分类。提取阶段的FMs可以标准化日期字段、验证地址和电话号码,同时确保一致的格式。丰富阶段的FMs允许推理、逻辑推理和总结。当您在每个IDP阶段使用FMs时,您的工作流程将更加流畅,性能也会得到改进。下图说明了具有生成式AI的IDP流程。

IDP流程的提取阶段

当FMs无法直接以原生格式(如PDF、img、jpeg和tiff)作为输入来处理文档时,需要一种机制将文档转换为文本。为了从文档中提取文本然后将其发送到FMs进行进一步处理,您可以使用Amazon Textract。使用Amazon Textract,您可以提取行和单词,并将它们传递给下游的FMs。以下架构使用Amazon Textract从任何类型的文档中准确提取文本,然后将其发送到FMs进行进一步处理。

通常,文档包含结构化和半结构化信息。Amazon Textract可用于从表格和表单中提取原始文本和数据。表格和表单中的数据关系在自动化业务过程方面发挥着至关重要的作用。某些类型的信息可能无法由FMs直接处理。因此,我们可以选择将此信息存储在下游存储中或将其发送到FMs。下图是一个例子,展示了Amazon Textract如何从文档中提取结构化和半结构化信息,以及需要由FMs处理的文本行。

使用AWS无服务器服务利用FMs进行总结

我们前面演示的IDP流程可以使用AWS无服务器服务无缝自动化。大型企业中存在高度非结构化的文档。这些文档可能跨越从银行业的证券交易委员会(SEC)文件到医疗保险行业的保障文件等多个行业。随着AWS上生成式AI的发展,这些行业的人们正在寻找以自动化和经济高效的方式从这些文档中获取摘要的方法。无服务器服务提供了一种快速构建IDP解决方案的机制。诸如 AWS Lambda、AWS Step Functions 和 Amazon EventBridge 等服务可以帮助构建与FMs集成的文档处理流程,如下图所示。

上述架构中使用的示例应用程序是事件驱动的。事件被定义为最近发生的状态变化。例如,当对象被上传到 Amazon Simple Storage Service(Amazon S3)存储桶时,Amazon S3会发出对象创建事件。来自Amazon S3的此事件通知可以触发Lambda函数或Step Functions工作流程。这种类型的架构称为事件驱动架构。在本文中,我们的示例应用程序使用事件驱动架构来处理示例病人出院小结,并总结文档的详细信息。工作流程如下:

1. 当文档上传到S3存储桶时,Amazon S3会触发对象创建事件。

2. EventBridge默认事件总线根据EventBridge规则将事件传播到Step Functions。

3. 状态机工作流程开始处理文档,从Amazon Textract开始。

4. Lambda函数转换经过分析的数据以用于下一步。

5. 状态机调用托管FM的SageMaker endpoint,通过直接的AWS SDK集成。

6. 摘要S3目标存储桶接收从FM收集的摘要响应。

我们使用示例应用程序及 flan-t5 Hugging face模型来总结以下使用Step Functions工作流程的示例病人出院小结。

Step Functions工作流程使用AWS SDK集成调用Amazon Textract AnalyzeDocument 和SageMaker运行时InvokeEndpoint API,如下图所示。

此工作流程生成存储在目标存储桶中的摘要JSON对象。JSON对象如下所示:

{
  "summary": [
    "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help."
  ],
  "forms": [
    {
      "key": "Ph: ",
      "value": "(888)-(999)-(0000) "
    },
    {
      "key": "Fax: ",
      "value": "(888)-(999)-(1111) "
    },
    {
      "key": "Patient Name: ",
      "value": "John Doe "
    },
    {
      "key": "Patient ID: ",
      "value": "NARH-36640 "
    },
    {
      "key": "Gender: ",
      "value": "Male "
    },
    {
      "key": "Attending Physician: ",
      "value": "Mateo Jackson, PhD "
    },
    {
      "key": "Admit Date: ",
      "value": "07-Sep-2020 "
    },
    {
      "key": "Discharge Date: ",
      "value": "08-Sep-2020 "
    },
    {
      "key": "Discharge Disposition: ",
      "value": "Home with Support Services "
    },
    {
      "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ",
      "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. "
    },
    {
      "key": "Summary: ",
      "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet "
    }
  ]
 }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

使用IDP与无服务器实现在大规模上生成这些摘要,可以以高效的方式为组织提供有意义、简洁和可呈现的数据。 Step Functions不限于一次处理一个文档的方式来处理文档。它的分布式映射功能可以按计划总结大量文档。

示例应用程序使用flan-t5 Hugging face模型;但是,您可以选择自己的FM endpoint。模型的训练和运行超出了示例应用程序的范围。请遵循GitHub仓库中的说明来部署示例应用程序。上述架构提供了如何使用Step Functions编排IDP工作流的指导。有关使用AWS AI服务和FMs构建应用程序的详细说明,请参阅IDP生成式AI Workshop。

设置解决方案

按照 README中的步骤设置解决方案架构(SageMaker endpoint除外)。在您拥有自己的SageMaker endpoint后,可以将endpoint名称作为参数传递给模板。

清理

为了节省费用,请删除教程中部署的资源:

1. 按照 README 中的清理部分的步骤进行操作。

2. 从Amazon S3控制台中删除S3存储桶中的任何内容,然后删除存储桶。

3. 通过SageMaker控制台删除您可能创建的任何SageMaker endpoint。

结论

生成式AI正在改变您可以如何使用IDP来洞察文档。Amazon Textract等AWS AI服务以及AWS FMs可以帮助准确处理任何类型的文档。有关在AWS上使用生成式AI的更多信息,请参阅发布在AWS上构建生成式AI的新工具。