热门标签
热门文章
- 1hadoop离线阶段（第十一节）MapReduce求取共同好友、互相好友、实现文件中单词计数、实现文件合并和分目录输出_mapreduce统计互粉好友对
- 2来自Transformers的双向编码器表示（BERT）_bert 双向编码
- 3最受欢迎的鸿蒙工具库（harmony-utils）_context为空,请在uiability的onwindowstagecreate方法中调用appu
- 4搜维尔科技：Varjo XR-4客户体验中，在VR体验中获得高层次的视觉保真度和沉浸感。
- 5Hadoop大数据应用：Yarn 节点实现扩容与缩容_hadoop在线扩容和缩容
- 6Android Framework——进程间通讯学习(1)，2024年最新HarmonyOS鸿蒙编程权威指南第4版
- 7一文解读ISO26262安全标准：功能安全管理_iso 26262(2)
- 8哈希（Hash）长度扩展攻击_哈希长度拓展攻击
- 9Spring boot 2.0 升级到 3.3.1 的相关问题 （三）
- 10Java二十三种设计模式-单例模式（1/23）
当前位置: article > 正文
论文阅读：GPT2--Language Models are Unsupervised Multitask Learners
作者：煮酒与君饮 | 2024-07-24 01:58:23
赞
踩
language models are unsupervised multitask learners 2019
- Abstact
- GPT2的核心思想就是认为可以用无监督的预训练模型去做有监督任务。
- Introduction：
- 典型应用：最著名的语言模型就是手机上面的输入法，根据当前输入词推荐下一个词
- 目标上想构造一个通用的NLP模型，可以执行很多任务，不需要为每个任务手动创建和标记数据集
- 多任务学习：把多个相关的任务放在一起学习，同时学习多个任务。
- 基于共享表示，把多个相关的任务放在一起学习的机器学习方法
- 多个相关任务同时并行学习，梯度同时反向传播，多个任务通过底层的共享表示、互相补充学习到的领域相关的信息，互相帮助学习任务，提升泛化效果。
- 基于共享表示，把多个相关的任务放在一起学习的机器学习方法
- 把多任务学习和非监督学习联系起来。在没有进行微调的情况下，也取得了很好的效果。说明了泛化能力进一步增强 训练集和测试集同分布
- Approach
- 2.1 Training Dataset
- 抓了800万个文档 40G数据
- 2.2 Input Representation
- BPE
- 基本词汇表13W 常用3.2-6.4W 字节层面词典大小256
- 防止Bpe字符类别合并任何序列
- 不需要分词预处理 字节<
- BPE
- 2.1 Training Dataset
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/872415
推荐阅读
相关标签
