当前位置:   article > 正文

预训练模型(8)---- T5: Text-To-Text Transfer Transformer_text-to-text 预训练

text-to-text 预训练

论文链接:

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

代码链接:

https://github.com/google-research/text-to-text-transfer-transformer

其实在ELECTRA 之前我就看到了T5,这个模型可以用一个字来总结,那就是“大”。不仅模型很大,而且实验超多(70多个),文章还巨长(34页),此时不得不感叹谷歌的财大气粗。

其实T5简单的说就是将所有 NLP 任务都转化成 Text-to-Text (文本到文本)任务。

想了解更多的细节就看下下面的两个链接吧,看完之后应该会被震撼到。

T5 模型:NLP Text-to-Text 预训练模型超大规模探索

T5: Text-To-Text Transfer Transformer

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/1019673
推荐阅读
相关标签
  

闽ICP备14008679号