AI首席架构师5-AICA-文心NLP大模型技术及应用

开源案例地址：https://github.com/PaddlePaddle/ERNIE
其他的框架也会集成相关的大模型

一、介绍

二、大模型技术概述

算法数据算力

大模型成为新方向

NLP大模型突破

价值，降本（数据，算力）增效

通用性底座

少数据，少算力，时间短

理解和生成的能力提升

文图生成

原理介绍

大模型技术发展

全局信息和高并发性

预训练模型三剑客

预训练

超大规模模型

小样本性能提升

通用性提升

基础模型

大模型

大模型带来的范式转变

通用权重

国外大模型

三、百度文心大模型

文心全景图

发展历程

知识增强大模型

只是图谱取出来，融合训练

融合自编码和自回归，理解和生成任务

训练数据

大模型

分布式训练

效果

对比

融合

prompt统一数据形式

效果

统一处理各类任务

行业大模型

金融行业特定大模型

架构

大模型的位置

使用

浦发大模型

国网大模型

四、大模型工具和平台

全方位服务

大模型套件

预制大模型

图文生成，图文匹配，文本抽取表格识别

领域大模型

端到端，降低部署成本

高性能部署

零代码

EasyDL文本领域

一站式服务

大模型API

五、应用案例

案例

效果提升

风控

作文续写

合同解析

合同比对

合同信息抽取

总结