词性标注

（纯属为了记录自己学习的点滴过程，99%都是复制别人的东西，引用资料都附在参考列表）

1 基本概念

什么是词性
在语言学上，词性(Par-Of-Speech, Pos )指的是单词的语法分类，也称为词类。同一个类别的词语具有相似的语法性质，所有词性的集合称为词性标注集。不同的语料库采用了不同的词性标注集，一般都含有形容词、动词、名词等常见词性。下图就是HanLP输出的一个含有词性的结构化句子。

词性的用处
词性的作用是提供词语的抽象表示，词的数量是无穷的，但词性的数量是有限的。词性支撑着许多高级应用，当下游应用遇到 OOV 时，可以通过 OOV 的词性猜测用法，比如上面的句子“林晚霞”就识别为人名进行处理，而不会拆开。
词性也可以直接用于抽取一些信息，比如抽取所有描述特定商品的形容词等。

序列标注问题
序列标注指的是给定一个序列 ，找出序列中每个元素对应标签 的问题。其中，y 所有可能的取值集合称为标注集。比如，输入一个自然数序列，输出它们的奇偶性。
求解序列标注问题的模型一般称为序列标注器，通常由模型从一个标注数据集中学习相关知识后再进行预测。在NLP问题中，x 通常是字符或词语，而 y 则是待预测的组词角色或词性等标签。中文分词、词性标注以及命名实体识别，都可以转化为序列标注问题。

2 问题

以1998年《人民日报》一月份语料库作为训练、测试数据;
训练集:

测试集：

除了文本具体内容，两个数据集标注标准、词性标注集完全一样。
在上面的数据中，每个词组成的序列称为观测序列，每个词对应的词性组成的序列称为状态序列。

3 解决思路

3.1 基于隐马尔可夫模型的词性标注

HMM是概率有向图模型中的一种，应该是机器学习中推理最繁琐的算法了，并且用到了动态规划算法，具体数学细节参考《统计学习方法》；
隐马尔可夫模型( Hidden Markov Model, HMM)是描述两个时序序列联合分布 p(x,y) 的概率模型: x 序列外界可见(外界指的是观测者)，称为观测序列(obsevation sequence); y 序列外界不可见，称为状态序列(state sequence)。比如观测 x 为单词，状态 y 为词性，我们需要根据单词序列去猜测它们的词性。隐马尔可夫模型之所以称为“隐”，是因为从外界来看，状 态序列(例如词性)隐藏不可见，是待求的因变量。从这个角度来讲，人们也称状态为隐状态(hidden state),而称观测为显状态( visible state)。隐马尔可夫模型之所以称为“马尔可夫模型”，”是因为它满足马尔可夫假设；
从数据–>HMM模型–>预测词性，要解决概率计算问题、学习问题、预测问题，预测问题就是根据观测序列，预测概率最大的状态序列（即词性序列）；

3.2 基于条件随机场的词性标注

CRF是概率无向图模型中的一种，数学细节和HMM基本类似，具体数学细节参考《统计学习方法》；
Hanlp中的CRF实现由于基于java虚拟机，速度比c++要慢，所以作者建议直接在本机上安装crf++，mac安装很简单：brew install crf++，其它安装方法参考https://blog.csdn.net/zzzzlei123123123/article/details/104299040这篇博客。
即使在本机上安装了crf++，训练上面的数据依然有点漫长，大概1h+