词性标注学习笔记_joint chinese word segmentation and part-of-speech

1 词性标注概述 

1.1 简介

词性（Par-Of-Speech，Pos）是词汇基本的语法属性，通常也称为词类。词性标注就是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。

1.2 难点

1）汉语是一种缺乏词形态变化的语言，词的类别不能像印欧语那样，直接从词的形态变化上来判别。

2）常用词兼类现象严重，具有多个词性的兼类词的占比高达22.5%。而且越是常用的词，多词性的现象越严重。

3）词性划分标准不统一。词类划分粒度和标记符号等，目前还没有一个广泛认可的统一的标准。比如LDC标注语料中，将汉语一级词性划分为33类，而北京大学语料库则将其划分为26类。

4）未登录词问题。和分词一样，未登录词的词性也是一个比较大的课题。

1.3 ICTCLAS汉语词性标注集

2 常见方法

2.1 基于字符串匹配的字典查找

从字典中查找每个词语的词性，对其进行标注。这种方法比较简单，但是不能解决一词多词性的问题，因此存在一定的误差。

2.2 基于统计的算法

通过机器学习模型，从数据中学习规律，进行词性标注。此类方法可以根据词的上下文进行词性标注，解决一词多词性的问题。常见模型如HMM、CRF、神经网络等。

根据输入的粒度，可以分为基于词的方法，和基于字的方法。基于词的方法需要首先对句子进行分词，然后对分词的结果进行词性标注。基于字的方法把分词和词性标注两个任务联合训练。

3 数据集、评价指标

3.1 常用数据集

• 宾州中文树库CTB 5~9
• PFR人民日报标注语料库
• UD-Chinese-GSD数据集

3.2 评价指标

一般采用精确率（precision）、召回率 （recall）和F1值进行测评。

基于词的方法， 可以直接计算以上三个指标。基于字的方法，只有当分词和词性标注同时正确时，才算标注正确。

3 论文笔记

================================================================================================

ACL 2017：Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
================================================================================================

概述

文本提出一个基于BiRNN-CRF的中文分词和词性标注联合标注模型，模型在字符的表示上进行改进，可以提供更加丰富的信息。 

模型架构

模型的核心是传统的双向RNN加CRF架构，RNN选用GRU。标签体系使用BIES和词性标签的组合，可以在一个标签中同时包含两种信息（如B-DEG、I-DEG、E-DEG ）。

本文的关键创新是在字符的表示上。

1）Concatenated N-gram

首先对于每个字符，提取以该字符为中心的n-gram信息，其中m为开始位置，n为结束位置。为对应n-gram字符串的embedding。然后把多个n-gram的进行拼接，得到该字符的表示。

2）Radicals and Orthographical Features（偏旁和字形特征）

对于汉字，偏旁包含了丰富的信息，每个偏旁使用一个embedding表示，然后拼接到该字符的表示当中。

汉字的字形也提供了重要的信息，使用两层的CNN+Max pooling卷积网络提取字形信息，拼接到该字符的表示当中。

3）Pre-trained Character Embeddings

本文测试了使用预训练的embedding和随机embedding的区别。

4）Ensemble Decoding

本文测试了使用多个模型进行联合解码的效果。

实验结果

特征分析

 

 

================================================================================================

IEEE 2018：A Simple and Effective Neural Model for Joint Word Segmentation and POS Tagging
================================================================================================

概述

由于中文分词和词性标注具有高度的关联性，传统的首先进行分词再进行词性标注的二阶段模式会造成错误的累积。文本提出一个简单高效的，基于Seq2Seq架构的神经网络模型，对中文分词和词性标注进行联合标注。 

模型架构

1） Transition System

由于本模型的解码方式参考传统的Transition System，所以首先对其进行简单介绍。Transition System主要包含两部分：状态（State）和动作（Action）。开始时，有一个空的开始状态，然后通过一系列的动作逐渐改变状态的值，直到得到一个表示最终结果的结束状态。

通过设计一个针对分词和词性标注联合解码的Transition System，可以把解码过程表示为一系列动作组成的序列，并使用Seq2Seq模型预测得出。系统包含两类动作：1）SEP（t）：将当前字作为词性（t）开始的第一个字放入状态当中；2）APP：将当前字添加到状态当中，作为当前状态顶端的词性所表示的字当中。具体可以参考下图例子。

 

2）Seq2Seq模型

本模型包含Encoder和Decoder两部分。

2.1）Encoder

2.1.1）Embedding Layer

本层包含字（）的unigram和bigram的Embedding，其中bigram包含正向（）和反向（）两种。

每种Embedding又分别包含两种类型：1）随机初始化并随着网络训练调整；2）使用外部数据预训练得到并固定权重。最终的Embedding由两种类型拼接而成。

其中使用外部数据预训练Embedding时，考虑两种方式：1）只使用字信息训练的Basic Embeddings；2）结合分词、词性标签训练的Word-Context Embeddings。实验结果表明，Word-Context Embeddings效果更好。

2.1.2）LSTM Input

Encoder由正向和反向两个LSTM组成，所以需要分别为两个LSTM提供输入。输入由unigram和对应的bigram的Embedding拼接后，通过一个简单的线性变换得到：

或

2.1.3）Bi-Directional LSTM

经过输入层，分别得到正向和反向两部分输入：和。然后分别输入到两个LSTM当中，Encoder的最终输出由两个LSTM的输出拼接得到：。

2.2）Decoder

Decoder由一个基于动态解码的词为输入的单向LSTM构成。和传统的Seq2Seq模型对比，本模型具有两方面的区别。第一，由于基于Transition System的解码系统自带了注意力的属性，所以本模型不需要显式的注意力结构。第二，本模型的Decoder基于动态解码的word-level特征作为输入，而不是原始输入的character-level特征。

2.2.1）Word Representation

Decoder的输入为词列表，其中每个词由两部分组成：1）组成词的每个字的Encoder输出的组合；2）预测的词性标签的Embedding。

Decoder的输入的词可以表示为：

其中有几种可选的计算方式：

由于Encoder的输出由两个方向分别组成，所以词的表示也分别由两个方向的组合拼接得到：

然后把词表示和词性标签的Embedding拼接，通过一个简单的线性变换得到：

2.2.2）LSTM

把输入到单向LSTM当中，得到每一步的隐藏状态，然后经过两次线性变换，得到每一步的输出：

2.3）Training

使用交叉熵作为损失函数：

实验结果

特征分析

1）Word Representation

2）Feature

 

3）Pretrain Embedding

================================================================================================

ACL 2020：Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge
================================================================================================

概述

当前的词性标注模型只关注n-gram等上下文信息，忽略了其他语法知识。然而，句法结构、依存关系等知识可以提供单词之间的距离依赖信息。使用现成的工具自动生成的语法知识，可以对词性标注模型起到辅助作用。本文提出一个中文分词和词性标注联合标注模型，使用双向注意机制整合每个输入字符的上下文特征及其相应的语法知识。

模型架构

设输入为，输出为，的上下文特征为，语法知识为。每个字符对应的特征表示为和。

1）Auto-analyzed Knowledge

人工标注的语法知识比较难以获取，但是自动分析得到的语法知识可以通过工具生成，虽然自动生成的知识有一定噪声，但是如果可以让模型学习如何利用这些知识，可以有效提升模型效果。本模型通过注意力机制，从自动生成的语法知识中提取特征。

本文使用三种语法知识：1）自动生成的词性标注标签；2）句法结构；3）依存关系。

1.1）自动生成的词性标注标签

对于每个字符 ，取包含该字符的词，以及其相邻2个词范围内的所有词，的上下文和词性标注标签特征。

1.2）句法结构

首先定义一组需要关注的句法标签。对于每个字符 ，从包含该字符的词开始往根节点回溯，直到遇到第一个在预定义的句法标签的词为止，取该词下的所有叶子节点的词的上下文和句法标签特征。

1.3）依存关系

对于每个字符 ，取包含该字符的词以及与其存在依存关系的所有词的上下文和依存关系标签特征。

2）Two-Way Attentions

之前的研究直接把上下文特征和语法知识进行拼接，容易受噪声干扰，本模型分别使用两个attention提取上下文和语法知识特征。以上下文特征为例，计算方式为：

其中是编码器提取的特征，是的上下文特征中的第j项，是的embedding。

使用同样的方式提取语法知识特征，最后把上下文和语法知识特征拼接，得到本层输出。

3）Joint Tagging with Two-way Attentions

把编码器和双向注意机制提取的特征拼接后输入到一个线性变换层，然后输入到CRF层得到最终输出：

实验结果

本文测试使用Stanford CoreNLP Toolkit（SCT）和Berkeley Neural Parser（BNP）两个工具本身进行词性标注的结果，和基于它们提取的语法特征在本模型下的结果。

同时也对比使用Bi-LSTM、BERT、ZEN三种编码器的结果。

特征分析