赞
踩
作者:禅与计算机程序设计艺术
传统Transformer模型基于字符级别或者词级的文本,通常只进行了几层网络结构,而在实际生产环境中,任务不同,输入类型也不同,比如序列标注、序列生成等,会遇到不同的输入数据形式。因此,提出了用统一的预训练模型来解决这一问题,预训练可以使得模型具有更好的泛化能力、鲁棒性。通过对大量高质量数据进行预训练,模型可以在目标任务上取得更好的性能。
目前,预训练模型有两种流派,一种是seq2seq预训练,另一种是transformer预训练。seq2seq预训练就是利用源文本和目标文本的数据集,首先用seq2seq模型将源文本编码成固定长度的向量,然后再去训练一个seq2seq解码器,用于将编码后的向量映射回目标文本。transformer预训练相比于seq2seq预训练,不需要seq2seq模型,直接用transformer模型来做特征抽取,并且是端到端训练的方式,可以训练得更快更准确。
预训练Transformer模型,是在无监督条件下通过大规模无监督数据训练网络模型,使模型具备更好的通用性、适应性和鲁棒性。Transformer模型是NLP领域最具代表性的深度学习模型之一。该模型是由Attention机制和前馈神经网络组成,并被广泛应用于自然语言处理(NLP)领域。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。