当前位置:   article > 正文

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

exploring the limits of transfer learning with a unified text-to-text transf

Abstract

本文提出了一种将所有基于文本的语言问题转化为统一的 text-to-text 格式的框架。并且在数十种语言理解任务上系统化地比较了:

  • pre-training objectives
  • acchitectures
  • unlabled data sets
  • transfer approches
  • other factors

结合上述探索中得到的洞见以及规模上的扩展,加上新的 C4(Colossal Clean Crawled Corpus) 数据集,我们在多项任务上取得了 SOTA 效果。

论文代码: https://github.com/google-research/text-to-text-transfer-transformer
数据集: https://www.tensorflow.org/datasets/catalog/c4

Introduction

值得注意的是,我们并不是提出一个方法,而是提供一个全面的视角来审视迁移学习

Setup

我们的框架称为 T5 (Text-to-Text

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/626025
推荐阅读
相关标签
  

闽ICP备14008679号