热门标签
热门文章
- 1关闭eslint的方法--简单_eslintconfig 关闭
- 2华为nova3E升级鸿蒙,华为nova 3e刷机教程_华为nova3e强刷升级更新官方系统包
- 3Nginx中设置反向代理
- 4java集合之Vector与LinkedList[68]_vector和linkedlist
- 5OpenHarmony音频采集开发_openharmony 读取wav音频文件
- 6Mac OS 删除默认的英文输入法
- 7数学建模_论文写作要求_数模论文有页数要求吗
- 8华为20plus升级鸿蒙系统,华为鸿蒙系统正式版发布！多款手机可升级，完美解决安卓痛点！...
- 9【Android Studio连接夜神模拟器】_夜神模拟器连接android方法
- 10Unity叠加场景加载运行_unity中加载到下一个场景时继续运行上一个场景
当前位置: article > 正文
bert中文文本摘要代码（2）_bert做文本摘要
作者：小丑西瓜9 | 2024-04-01 11:07:08
赞
踩
bert做文本摘要
bert中文文本摘要代码
- 写在最前面
- 关于BERT
- model.py
- 自定义参数
- 激活函数
- BertConfig类
- BertEmbeddings类：embeddings层
- BertSelfAttention类：自注意力
- BertSelfOutput类：BertSelfAttention层的输出处理部分
- BertAttention类：注意力层
- BertIntermediate类：中间层
- BertOutput类：输出层
- BertLayer类（顺序组合BertAttention、BertIntermediate和BertOutput模块）
- BertEncoder类：多层Transformer编码器
- BertPooler类：池化层
- BertPredictionHeadTransform类：对最后一个隐藏状态进行变换，以准备进行下游任务
- BertLMPredictionHead类：生成语言模型预测的输出
- BertOnlyMLMHead类：MLM任务
- BertOnlyNSPHead类：NSP任务
- BertPreTrainingHeads类：MLM和NSP
- BertPreTrainedModel类：加载预训练的BERT模型
- BertModel类：BERT模型
- BertForPreTraining类
- BertForSeq2Seq类：BERT模型进行文本编码+下游序列到序列的任务
- 笔记
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/348667
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
