热门标签
热门文章
- 1async await面试题_页面还在加载接口,但是把他最小化啦,接口执行完执行settimeout(async () => {
- 2Android接入热敏打印机,Android 关于佳博和汉印蓝牙热敏打印机开发
- 3程序员发展路径_程序员的发展路径
- 4python中将列表中的元素倒序输出_python实现对列表中的元素进行倒序打印
- 5SuperMap iClient for JavaScript 快速入门_supermap iclient javascript
- 6微信小程序使用web-view跳转网页解决跳转出现空白或者被拦截问题_小程序 web-view 空白
- 7pyinstaller打包成功后提示ModuleNotFoundError: No module named ‘distutils‘错误解决办法_modulenotfounderror: no module named 'distutils
- 8二叉查找树
- 9考计算机等级需要学历吗,考计算机等级要学历吗 计算机考试有用吗
- 10自然语言处理中的文本表示_自然语言处理文本表示、
当前位置: article > 正文
NLP(11): 词性标注实战_nlp词性标注实战
作者：IT小白 | 2024-05-20 20:52:14
赞
踩
nlp词性标注实战
词性标注 Pos Tagging
1、introduction
每一行的单词对应它的词性
学习如何把一个句子中的每个单词进行标记
- noisy channel model：
argmaxP(z|s)=p(s|z)p(z)=p(w1w2w3…wn|z1z2z3…zn)p(z1z2…zn)
- 前半部分：给定一个词性，出现该词的概率
- 后半部分：biagram prob
目的：找到最好的z，使得在给定s下，词性的概率最大
加入log
需求：求出三个部分的概率：
- step 1： compute A,B,PI
- step 2：Viterbi algorithm
对于优化z中的参数解释：
将词性的序列对应隐状态序列，将词序列对应观测序列
- p ( w i ∣ z i ) p(w_i|z_i) p(wi∣zi): 从隐状态转移到观测序列的概率
- p(z): 初始概率
- p ( z t ∣ z t − 1 ) p(z_t|z_{t-1}) p(zt∣zt−1)从t-1时刻的状态转移到t时刻的概率，在这里代表不同词性在文章中的关系
给定条件：每一个时刻的词的出现只与当前的词性相关。
假设：
w
i
w_i
wi当前词只依赖于当前的词性
z
i
z_i
zi
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/599250
推荐阅读
相关标签
