【PaddleNLP-kie】关键信息抽取2：UIE模型做图片信息提取全流程_paddle uie

大模型时代来咯！讲究的就是一个通用！
本文记录我使用PaddleNLP中UIE做增值税发票信息提取的过程，同理适用于任何图片信息提取

首先上个图镇场子，里面红底的就是做图片信息提取，所需要重点关注的文件

本文参考

• 项目
  PaddleNLP：https://github.com/PaddlePaddle/PaddleNLP
  其中UIE部分：
  https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
  发票信息提取使用的UIEX：
  https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/information_extraction/document

• 教程/文档
  跨模态文档通用信息抽取模型UIE-X来了
  uie的简单介绍b站视频【AI快车道｜通用信息抽取技术与产业应用实战】 https://www.bilibili.com/video/BV1Q34y1E7SW/?share_source=copy_web&vd_source=679c63061dfbdf7484b5a4a666d4b9e1
  AI快车道PaddleNLP系列直播课https://aistudio.baidu.com/aistudio/education/group/info/24902
  UIE(Universal Information Extraction)

UIE理论部分

• UIE原始论文
  论文阅读笔记
  
  

• Paddle-UIE-X

UIE(Universal Information Extraction)：Yaojie Lu等人在ACL-2022中提出了通用信息抽取统一框架UIE。该框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模，并使得不同任务间具备良好的迁移和泛化能力。为了方便大家使用UIE的强大能力，PaddleNLP借鉴该论文的方法，基于ERNIE 3.0知识增强预训练模型，训练并开源了首个中文通用信息抽取模型UIE。该模型可以支持不限定行业领域和抽取目标的关键信息抽取，实现零样本快速冷启动，并具备优秀的小样本微调能力，快速适配特定的抽取目标。
来源：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie

官方大佬对UIEX的解释：https://zhuanlan.zhihu.com/p/592422623
paddle基于论文中的UIE做了修改，论文中的UIE是对text文本字段进行实体抽取、关系抽取、事件抽取、情感分析四种任务处理的，Paddle全新升级UIE-X，除已有纯文本抽取的全部功能外，新增文档抽取能力，具体来说paddle就是在前面增加了paddleOCR的det和rec功能，图片转化为识别出来的文本，再送入进行UIE，再结合布局分析等功能做了优化。UIE-X把这个功能端到端打通了。使用起来非常方便

step0、UIEX原始模型使用

网页体验

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】