当前位置:   article > 正文

Azure AI 文档智能:RAG 与搜索的革新_azure rag

azure rag

企业申请Azure OpenAI绿色通道

→记得评论私信~

在我们先前的文章《了解 Azure 文档生成式 AI》中,我们介绍了什么是文档生成式 AI,以及如何使用 Azure AI 文档智能(以前称为 Azure 表单识别器)和 Azure OpenAI 服务在多样化的企业级长篇文档中实现高效的对话式交互。

检索增强生成(RAG)是一种常用于文档生成式 AI 的设计模式。它是一种独特的架构,通过融合信息检索系统来提供数据,从而增强大型语言模型(例如 ChatGPT)的功能和效能。添加信息检索系统后,您就可以控制 LLM 在响应时使用的数据。企业文档通常冗长而复杂,尽管大型语言模型(LLM)近期已能处理更广泛的上下文信息,但要实现数据的高效存储和检索,同时提升结果的相关性与可解释性,仍然必须采用一种精准的分块策略,将内容细化为更小的章节。然而,在当前的检索增强生成(RAG)系统中,大多数分块策略仍主要依据文本长度,而非文档的结构化组织。

面对对语义分块的迫切需求,关键问题在于:如何基于语义内容而非随机分割,将庞大的文本或文档有效地细分为更小、更具意义的单元? 

图片

Azure AI 文档智能 Layout 模型通过提供先进的内容提取和文档结构分析功能,为语义分块提供了全面的解决方案。利用该模型,您可以从各种文档类型中轻松提取段落、表格、标题、章节标题、选择标记、字体/样式、键值对、数学公式、二维码/条形码等。提取的信息可轻松转换为 Markdown 格式,从而使您能够利用所提供的构建模块,精确定义和实施语义分块策略。 

图片

01

简化流程: 只需调用一次 API,您就能解析不同的文档类型,如数字和扫描 PDF、图像、办公文件(docx、xlsx、pptx)和 html。

02

可扩展性和高质量提取: 该模型借助先进的 AI 技术,在光学字符识别 (OCR)、表格提取、文档结构分析(如段落、标题、章节标题)和阅读顺序检测方面展现出卓越的可扩展性并确保了高质量的提取结果。它目前支持 309 种印刷语言和 12 种手写语言。

03

大型语言模型(LLM)兼容性:输出格式特别优化为 LLM 友好的格式,尤其是 Markdown,便于无缝地融入各类工作流程。通过将文档中的表格转换为 Markdown 格式,可以显著减少解析文档所需的工作量,进而促进 LLM 对文档内容的更深层次理解。 

图片

▲ 图 1:Layout 模型可检测文档结构并输出为 markdown。

图片

▲ 图 2:Layout 模型可以从文档中提取表格。

图片

Azure AI 文档智能 Studio

● 访问 Document Intelligence Studio - Microsoft Azure,选择所需的分析选项:

图片

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/382997
推荐阅读
相关标签