- 1SpringBoot集成自然语言处理hanlp工具包_springboot 集成hanlp
- 2【GlobalMapper精品教程】022：根据一个字段属性值批量计算另一个字段属性值（地类名称求地类编码）_arcgis 计算 不同编码
- 3【AcWing】蓝桥杯集训每日一题Day14|Flood Fill|洪水灌溉算法|DFS|并查集|687.扫雷(C++)
- 4【Hadoop】Hadoop车辆数据存储_基于hadoop的公共自行车数据分布式存储和计算
- 5Django高级扩展之中间件
- 6头歌 实验六 java输入输出_本关任务:从文件读取一篇英语文章,然后统计26个英文字母出现的次数。
- 7【无标题】嘻嘻嘻嘻嘻嘻嘻_max_energy_0 = torch.max(energy, -1, keepdim=true)
- 8机器翻译评测----BLEU算法_bleu机器翻译
- 9【python】flask模板渲染引擎Jinja2，流程控制语句与过滤器的用法剖析与实战应用
- 10测试人员前期参与设计方案时需要注意什么？
apache OpenNLP简要介绍
赞
踩
本文是OpenNLP的一个简要介绍。
OpenNLP目前Apache的顶级项目，纯JAVA自然语言处理工具包，支持大多数的自然语言处理任务，如tokenization（分词）, sentence segmentation（分句）, part-of-speech tagging（词性标记）, named entity extraction（命名实体提取）, chunking（语块）, parsing（分析）和 coreference resolution.共指解析。
OpenNLP的任务一般都需要通过训练出来的模型进行学习后给出结果。所以任务的入参都有模型、输入文件和输出文件。提供了命令行界面和API两种接口形式。
分句、分词是基础，后面的命名实体提取、词性标记、分块、句法解析等任务大多要基于他们的输出结果。
下面分开介绍各个任务。
1. Sentence Detector分句
句法分析主要是通过标点符号进行分句，英文句号的多用途导致不容易分句。所以需要训练学习分句。
分句的结果是把句子排列在一行上。
Pierre Vinken, 61 years old, will join the board as a nonexecutive director Nov. 29.
Mr. Vinken is chairman of Elsevier N.V., the Dutch publishing group.
Rudolph Agnew, 55 years old and former chairman of Consolidated Gold Fields PLC,
was named a director of this British industrial conglomerate.
训练数据每行表示一个句子，段落之间以空行分隔。推荐每段十几句话。
2. Tokenization分词
以词、标点符号和数字等进行分词，分词结果以空格把每个词分开，保留标点符号，且标点符号前后有空格。分词前需要先分句。（每行一句）
实现了三种分词器：
· WhitespaceTokenizer - A whitespace tokenizer, non whitespace sequences are identified astokens 空格标记器，以空格进行标识
· SimpleTokenizer - A character class tokenizer, sequences of the same character classare tokens 字符标记器，以特定字符进行标记，相同的是一个token
· LearnableTokenizer - A maximum entropy tokenizer, detects token boundaries based onprobability model最大熵标记器，基于概率模型监测边界。
训练数据在需要分词的地方以<SPLIT>进行标记。英文单词之间自然以空格分隔，中文该如何处理？应该是以SPLIT标记分隔。
Pierre Vinken<SPLIT>, 61 years old<SPLIT>, will join the board as a nonexecutive director Nov. 29<SPLIT>.
Mr. Vinken is chairman of Elsevier N.V.<SPLIT>, the Dutch publishing group<SPLIT>.
Rudolph Agnew<SPLIT>, 55 years old and former chairman of Consolidated Gold Fields PLC<SPLIT>,
was named a nonexecutive director of this British industrial conglomerate<SPLIT>.
3. NameFinder 名称查找器（命名实体标识）
Named Entity Recognition 命名实体标识的目的是从文本中提取出诸如人名、时间、公司名称等实体，也可以用于提取其他术语。原始文本数据必须先分句、分词后才能进行命名实体标识。
标识后的结果如下：
<START:person> Pierre Vinken <END> , 61 years old , will join the board as a nonexecutive director Nov. 29 .
Mr . <START:person> Vinken <END> is chairman of Elsevier N.V. , the Dutch publishing group .
<START:person> Rudolph Agnew <END> , 55 years old and former chairman of Consolidated Gold Fields PLC ,
was named a director of this British industrial conglomerate .
训练数据最好分句分词后再进行标记。标记符号<START:person>和<END>前后也要有空格。也就是标记符号作为一个词进行分词。否则会报错（not only one outcome）。
4. DocumentCategorizer文档分类器
OpenNLP基于最大熵框架进行文档分类。例如有人喜欢Gross Margin，示例文本会分到GMDecrease下。分类是特殊需求，没有预先训练模型。
训练数据如下：
GMDecrease Major acquisitions that have a lower gross margin than the existing network also \
had a negative impact on the overall gross margin, but it should improve following \
the implementation of its integration strategies .
GMIncrease The upward movement of gross margin resulted from amounts pursuant to adjustments \
to obligations towards dealers .
训练数据是以分类开头的一段文本，每行是一个文档，第一个词就是分类。。文档的换行以反斜杠分隔，如上面的例子。
5. Part-of-SpeechTagger词性标记
词性标记器基于分词类型和分词的上下文，用其相应的词类型来标记分词。 每个词可能具有多个POS标签，具体取决于词本身和词的上下文。 OpenNLP POS Tagger使用概率模型来预测标签集中的正确pos标签。 为了限制可能标签，可以使用标签字典，这会提高了标注的准确性和性能。
训练数据要求：每行是分好词的句子，每个词和词标记以“_”下划线连接，词间以空格分隔。段落（文档）以空行分隔。
About_IN 10_CD Euro_NNP ,_, I_PRP reckon_VBP ._.
That_DT sounds_VBZ good_JJ ._.
使用标签字典有两个好处：字典中不当标签可能不会用到，可以提升集束（beam）搜索算法搜索速度和减少可能性。（总之就是提升性能吧）字典以XML形式表达，存储在POSDictionary类中。详情参考文档和源代码。
<?xml version="1.0" encoding="UTF-8"?><dictionary>
<entry tags="NNP">
<token>Mary</token>
</entry>
<entry tags="VBD">
<token>had</token>
</entry>
<entry tags="DT">
<token>a</token>
</entry>
<entry tags="JJ">
<token>little</token>
</entry>
<entry tags="NN JJ">
<token>lamb</token>
</entry>
<entry tags="PRP$">
<token>His</token>
</entry>
<entry tags="NN">
<token>fleece</token>
</entry>
<entry tags="VBD">
<token>was</token>
</entry>
<entry tags="JJ">
<token>white</token>
</entry>
</dictionary>
6. Lemmatizer词形还原
词形还原（lemmatization），是把一个任何形式的语言词汇还原为一般形式（能表达完整语义），而词干提取（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义）
感觉是把单词的各种形式（复数、进行时、过去式等）还原回去。如下面例子中的
said VBD say
signed VBD sign
采用基于统计和字典进行词形还原。输入数据格式为分词且进行了词性标注的数据。
训练数据包括三列，列之间以空格分隔。每个词一行，句子间以空行分隔。第一列是句子中的单词，第二列是词性标记，第单列是词根（词源）
训练数据，简单句子:
He PRP he
reckons VBZ reckon
the DT the
current JJ current
accounts NNS account
deficit NN deficit
will MD will
narrow VB narrow
to TO to
only RB only
# # #
1.8 CD 1.8
millions CD million
in IN in
September NNP september
. . O
7.Chunker分块器
文本分块，是按语法对文本进行分块，如名词组、动词组等，但不指定内部结构和在主句中的角色。
训练数据由三列构成，每个词在一行上，每句后有一个空行。第一列是句子中的单词，第二列是词性标签，第三列是分块标签 。通常块类型由两部分构成B-CHUNK，其中第一部分的B标识开始，I-CHUNK中的I表示块中间的部分。例如：I-NP 表示一个名词短语中的非开始单词，B-VP表示动词短语的一个词。
He PRP B-NP
reckons VBZ B-VP
the DT B-NP
current JJ I-NP
account NN I-NP
deficit NN I-NP
will MD B-VP
narrow VB I-VP
to TO B-PP
only RB B-NP
# # I-NP
1.8 CD I-NP
billion CD I-NP
in IN B-PP
September NNP B-NP
. . O
8. Parser解析器
不知道为什么，文档中说“仅用于演示和测试”，原文“Thetool is only intended for demonstration and testing.”供了分块解析器和树插入解析器，但后一种仍然是实验性的，不推荐用于生产环境。
训练数据Penn Treebank格式，每句一行。
(TOP (S (NP-SBJ (DT Some) )(VP (VBP say) (NP (NNP November) ))(. .) ))
(TOP (S (NP-SBJ (PRP I) )(VP (VBP say) (NP (CD 1992) ))(. .) ('' '') ))
Penn Treebank标记格式详见PennTreebank网站。解析模型还包括pos标记模型。此训练需要大量标记数据来提升分析性能（准确性）
9. CoreferenceResolution共指解析
Coreference resolution (共指解析)是自然语言处理(nlp)中的一个基本任务，目的在于自动识别表示同一个实体的名词短语或代词，并将他们归类。操作文档中未对具体的接口进行介绍。
