热门标签
热门文章
- 12021-03-30_prepared select statement和select statement
- 2开课吧python小课学了有用吗-考研人注意了，停下手头的活，再忙也要看一下这个！...
- 3LM(Levenberg-Marquardt) & PCG(预条件共轭梯度法)
- 4IKE学习笔记2（IKE交换第一阶段）_ike第一阶段交换模式
- 5python+appium自动化测试-输出日志到控制台&文件_怎么把appium server的日志放到python控制台
- 6centos7部署zookeeper集群_zk2888和3888端口
- 7MySQL的SSL加密连接与性能开销_mariadb ssl加密对性能的影响
- 8如何看待培训机构出来的非科班程序员_非科班程序员要不要去实习
- 9【Element入门】5、Element UI 导航组件详解_elm组件
- 10python批量检索文献_Python 批量爬取Web of Science 文献信息数据
当前位置: article > 正文
bert中文文本摘要代码（2）_微调bert训练文本摘要
作者：我家自动化 | 2024-07-19 11:25:01
赞
踩
微调bert训练文本摘要
bert中文文本摘要代码
- 写在最前面
- 关于BERT
- model.py
- 自定义参数
- 激活函数
- BertConfig类
- BertEmbeddings类：embeddings层
- BertSelfAttention类：自注意力
- BertSelfOutput类：BertSelfAttention层的输出处理部分
- BertAttention类：注意力层
- BertIntermediate类：中间层
- BertOutput类：输出层
- BertLayer类（顺序组合BertAttention、BertIntermediate和BertOutput模块）
- BertEncoder类：多层Transformer编码器
- BertPooler类：池化层
- BertPredictionHeadTransform类：对最后一个隐藏状态进行变换，以准备进行下游任务
- BertLMPredictionHead类：生成语言模型预测的输出
- BertOnlyMLMHead类：MLM任务
- BertOnlyNSPHead类：NSP任务
- BertPreTrainingHeads类：MLM和NSP
- BertPreTrainedModel类：加载预训练的BERT模型
- BertModel类：BERT模型
- BertForPreTraining类
- BertForSeq2Seq类：BERT模型进行文本编码+下游序列到序列的任务
- 笔记
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/851198
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
