热门标签
热门文章
- 1so文件反编译_安卓攻防so模块自动化修复实战
- 2筛斗数据：数据提取技术，构建智慧企业的基石
- 3iOS 封装下载网络文件工具_ios 下载器封装
- 4qemu前后端features协商过程分析（vhost_user后端）_前后端协商的feature
- 5机器学习实战（三）—K均值聚类算法_离散隐变量
- 6mybatis oracle数据库批量新增、更新_mybatis oracle 批量更新
- 7无人机航电系统技术详解
- 8Flink任务调度原理之TaskManager 与Slots_flink的slot 和taskmanager
- 9BFS算法笔记_flood fill 路径
- 10接口自动化常见面试题_接口自动化面试必会6题经典
当前位置: article > 正文
bert中文文本摘要代码（2）_微调bert训练文本摘要
作者：我家自动化 | 2024-07-19 11:25:01
赞
踩
微调bert训练文本摘要
bert中文文本摘要代码
- 写在最前面
- 关于BERT
- model.py
- 自定义参数
- 激活函数
- BertConfig类
- BertEmbeddings类：embeddings层
- BertSelfAttention类：自注意力
- BertSelfOutput类：BertSelfAttention层的输出处理部分
- BertAttention类：注意力层
- BertIntermediate类：中间层
- BertOutput类：输出层
- BertLayer类（顺序组合BertAttention、BertIntermediate和BertOutput模块）
- BertEncoder类：多层Transformer编码器
- BertPooler类：池化层
- BertPredictionHeadTransform类：对最后一个隐藏状态进行变换，以准备进行下游任务
- BertLMPredictionHead类：生成语言模型预测的输出
- BertOnlyMLMHead类：MLM任务
- BertOnlyNSPHead类：NSP任务
- BertPreTrainingHeads类：MLM和NSP
- BertPreTrainedModel类：加载预训练的BERT模型
- BertModel类：BERT模型
- BertForPreTraining类
- BertForSeq2Seq类：BERT模型进行文本编码+下游序列到序列的任务
- 笔记
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
