自然语言处理（NLP） 学习_利用tree-lstms方法得到了文本的语义相关和语义分类 code

 

 

自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。

 

在这篇文章中，你将学习到最常见的10个NLP任务，以及相关资源和代码。

为什么要写这篇文章？

 

对于处理NLP问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类NLP问题的赛事内容学习该领域的最新发展成果，并应对NLP处理时遇到的各类状况。

 

因此，我决定将这些资源集中起来，打造一个对NLP常见任务提供最新相关资源的一站式解决方案。下方是文章中提到的任务列表及相关资源。那就一起开始吧。

 

目录:

 

1. 词干提取2. 词形还原3. 词向量化4. 词性标注5. 命名实体消岐6. 命名实体识别7. 情感分析8. 文本语义相似分析9. 语种辨识10. 文本总结

 

1. 词干提取

 

什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。例如，英文中:

 

1.beautiful和beautifully的词干同为beauti2.Good,better和best 的词干分别为good,better和best。

 

相关论文：Martin Porter的波特词干算法原文

 

相关算法：在Python上可以使用Porter2词干算法(https://tartarus.org/martin/PorterStemmer/def.txt)

 

程序实现：这里给出了在python的stemming库中使用(https://bitbucket.org/mchaput/stemming/src/5c242aa592a6d4f0e9a0b2e1afdca4fd757b8e8a/stemming/porter2.py?at=default&fileviewer=file-view-default)

 

Porter2算法做词干提取的代码：

 

 

#!pip install stemmingfrom stemming.porter2 import stemstem("casually")

 

2. 词形还原

 

什么是词形还原？ 词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了POS问题，即词语在句中的语义，词语对相邻语句的语义等。例如，英语中：

 

1.beautiful和beautifully被分别还原为beautiful和beautifully。2.good, better和best被分别还原为good, good和good

 

相关论文1: 这篇文章详细讨论了词形还原的不同方法。想要了解传统词形还原的工作原理必读。(http://www.ijrat.org/downloads/icatest2015/ICATEST-2015127.pdf)

 

相关论文2: 这篇论文非常出色，讨论了运用深度学习对变化丰富的语种做词形还原时会遇到的问题。(https://academic.oup.com/dsh/article-abstract/doi/10.1093/llc/fqw034/2669790/Lemmatization-for-variation-rich-languages-using)

 

数据集: 这里是Treebank-3数据集的链