热门标签
热门文章
- 1人工智能轨道交通行业周刊-第48期（2023.6.5-6.11）_地铁dmi
- 2数据结构-------单链表反转(面试)_在原链表上反转,允许借助少量变量
- 3遨博协作机器人ROS开发 - 机械臂语音交互控制_傲博协作机器人ros控制
- 4浅谈spark sql、hive on spark、spark on hive_hive on spark 和 sparksql
- 5sap gui 快捷登录_abap gui excel快捷登录
- 6ORB-SLAM配置和安装（自保存用）ORB_SLAM3-0.4-beta版本_orbslam3 0.4 和1
- 7ThingsBoard的安装与使用_thingsboard安装教程
- 8rabbitMQ本地启动快捷方式
- 9世界 5G 通信频段和运行模式_5g信号频段
- 10Linux下分卷Zip文件的合并并解压缩_linux如何将多个zip解压合一块
当前位置: article > 正文
中文实体识别（采用BERT）_python bert中文命名实体识别
作者：小丑西瓜9 | 2024-05-30 20:17:45
赞
踩
python bert中文命名实体识别
中文实体识别（采用BERT）
数据预处理
构建标签字典
保存为pkl文件方便读取。
读取数据
- 字对应标签list序列
- 序列截断操作，不超过最大长度，否则就截断。
- 处理为BERT对应的字符
- 将字符转为id索引
- 长度不够，需要填充0（在bert中，填充的0不会计算self-attention，需要用到mask）
输入到BERT模型中
- （见BERT学习笔记）得到输出结果为[batch_size,leng,dim]
- 对输出向量进行标签预测
W维度[dim,标签类别]、b偏差值[11]
经过全连接层非线性函数输出每一个字对应的预测类别结果向量[batch*len,11]
将结果输入到CRF中
- 构建转移矩阵[num_class,num_class]
- 计算似然函数
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/648436
推荐阅读
相关标签
