用python进行自然语言处理_Python自然语言处理: 使用SpaCycle库进行标记化、词干提取和词形还原...

在上一篇文章中，我们开始讨论如何使用Python进行自然语言处理。我们学习了如何读写文本和PDF文件。在本文中，我们将开始使用spaCy库来执行一些更基本的NLP任务，如标记化、词干提取和词形还原。

SpaCy简介

spaCy库与NLTK都是最流行的NLP库之一。这两个库的基本区别在于，NLTK包含多种算法来解决一个问题，而spaCy只包含一种算法，但它是解决问题的最佳算法。

NLTK是在2001年发布的，而spaCy相对较新，是在2015年开发的。在这一系列关于NLP的文章中，我们将主要讨论spaCy，因为它的艺术性质。但是，当使用NLTK而不是spaCy更容易执行任务时，我们还将接触NLTK。

安装 spaCy

如果你使用pip安装程序安装Python库，打开命令行并执行以下语句:

当然，如果你正在使用Anaconda，你需要在Anaconda提示符上执行以下命令:

下载并安装spaCy之后，下一步是下载语言模块。我们将使用英语语言模块。语言模块用于执行各种NLP任务，我们将在后面的内容中看到。

下面的命令会下载语言模块:

基本功能

在深入研究不同的spaCy函数之前，我们来简要地看看如何使用它。

作为第一步，你需要使用以下代码导入spacy库:

接下来,我们需要载入spaCy语言模块。

在上面的脚本中，我们使用spacy库中的load函数来加载核心英语语言模块。模块存储在sp变量中。

现在我们使用这个模块来创建一个小文档。文档可以是一个句子，也可以是一组句子，长度不限。下面的脚本创建一个简单的spaCy文档。

当使用该模块创建文档时，SpaCy会自动将文档分解为一系列标记。

标记是指句子中具有某种语义价值的单个部分。我们来看看我们的文档中都有哪些标记:

上面脚本的输出看起来会是这样：

可以看到我们的文档中有以下标记。我们还可以使用下面所示的.pos_属性来查看每个标记的词性:

输出:

你可以看到，我们句子中的每个单词或标记都被指定了一个词性。例如，“Manchester”被标记为专有名词，“Looking”被标记为动词，等等。

最后，除了词性部分，我们还可以看到词性的依赖项。

我们来创建另一个文档:

依赖项解析使用属性dep_，如下图所示:

输出如下:

从输出中，你可以看到spaCy足够智能，可以找到标记之间的依赖关系，例如在我们的句子中有一个单词is"nt。依赖项解析器将其分解为两个单词，并说明n"t实际上是对前一个单词的否定。

有关依赖项解析的详细理解，请参阅本文。

除了打印单词外，还可以从文档中打印句子。

现在，我们可以使用下面的脚本遍历每个句子:

输出如

你还可以检查一个句子是否以特定标记开头。你可以使用索引和方括号(类似于数组)获取单个标记:

在上面的脚本中，我们正在搜索文档中的第5个单词。请记住，索引是从零开始，句点作为标记。在输出你应该能看到:

现在，要查看文档中是否有以The开头的句子，我们可以使用is_sent_startattribute属性，如下所示:

在输出中，你会看到True，因为在第二句的开头使用了The标记。

在本节中，我们看到了spaCy库的一些基本操作。现在让我们更深入地研究，详细了解标记化、词干提取和词形还原。

标记化

如前所述，标记化是将文档分解为单词、标点符号、数字等的过程。

我们来详细看看spaCy标记化。使用以下脚本创建一个新文档:

你可以看到这个句子的开头和结尾都有引号。缩写 "U.K" 和 "U.S.A."中还包含标点符号。

我们来看看spaCy是如何标记化这个句子的。

输出：

在输出中，可以看到spaCy标记了开始和结束的双引号。但是，它还是很智能的，没有标记缩写词(例如U.K. 和 U.S.A.)之间的标点符号。

我们来看另一个标记化的例子:

在上面的句子中，“non-vegetarian”一词和电子邮件地址中都有破折号。我们来看看spaCy会如何标记这个:

输出：

从输出结果可以明显看出，spaCy实际上能够检测到这个电子邮件，尽管它有一个“-”，但并没有对其进行标记。另一方面，“non-vegetarian”一词被标记出来。

现在我们来看看如何统计文档中的单词:

在输出中，你会看到14，这是sentence4中标记的数量。

检测实体

除了将文档标记化为单词之外，你还可以发现该单词是否为实体短语，如公司、地点、建筑物、货币、机构等。

我们来看一个命名的实体识别的简单例子:

我们首先来简单对它进行标记：

输出：

我们知道“Manchester United”是一个单词，所以它不应该被标记成两个单词。同样，“Harry Kane”是一个人的名字，“$ 9000 million”是货币值。这些也不应该被标记。

这就是命名实体识别发挥作用的地方。要从一个文档中获取命名实体，必须使用ents属性。我们来从上面的句子中检索命名实体。执行以下脚本:

在上面的脚本中，我们打印出实体的文本、实体的标签和实体的详细信息。输出如下:

输出：

你可以看到spaCy的命名实体识别器已经成功地将“Manchester United”作为一个组织，“Harry Kane”作为一个人，“$90 million”作为货币值识别出。

检测名词

除了检测命名实体外，还可以检测名词。为此，可以使用noun_chunks属性。考虑一下下面这句话:

我们试着找出这个句子中的名词:

输出：

从输出中可以看到，名词也可以是命名实体，反之亦然。

词干提取

词干提取是指将一个单词还原为它的词根形式。在执行自然语言处理任务时，在遇到的各种场景中，你会发现具有相同词根的不同单词。例如，computer, computer, computing, computed等。为了统一起见，你可能希望将单词缩减为词根形式。这就是词干提取的作用。

你可能会感到惊讶，但是spaCy不包含任何词干提取功能，因为它只依赖于词形还原。因此，在本节中，我们将使用NLTK进行词干提取。

在NLTK中有两种类型的词干提取器:Porter Stemmer和Snowball Stemmer。它们都是使用不同的算法实现的。

Porter Stemmer

我们来实际看一下 porter stemmer:

先创建一个PorterStemmer类.

假设我们有以下的列表，我们想要将这些单词缩减为词干:

下面的脚本使用porter stemmer查找列表中的单词的词干:

输出如下：

你可以看到，这四个单词都被简化成“comput”，这其实根本就不是一个单词。

Snowball Stemmer

Snowball stemmer是Porter stemmer的一个稍微改进版本，通常比后者更受欢迎。我们来实例看看：

在上面的脚本中，我们使用Snowball stemmer来查找与porter stemmer实例中相同的4个单词的词干。输出如下:

你可以看到结果是一样的。我们仍然得到“comput”作为词干。再说一遍，”comput” 这个词实际上不是字典里的单词。

这样一来词形还原就派上用场了。词形还原将这个单词缩减为在词典中出现的它的词干。通过词形还原返回的词干是实际的字典单词，它的语义是完整的，不像词干提取器返回的单词。

词形还原

虽然不能用spaCy进行词干提取，但可以用spaCy进行词形还原。

为此，我们需要使用spaCy文档中的lemma_属性。假设我们有下面这句话:

我们可以通过下面的代码使用spaCy词形还原找到所有单词的词根:

上面脚本的输出如下：

可以看到不像词干提取得到的词根是“comput”，我们这里得到的词根是字典中的实际单词。

词形还原将第二种或第三种形式的单词转换为它们的第一种变体。请看下面的例子:

输出：

从输出中可以清楚地看到，“written”、“released”等第二、三种形式的单词已被转换为第一种形式，即:“write”和“release”。

结论

标记化、词干提取和词形还原是一些最基本的自然语言处理任务。在本文中，我们了解了如何使用spaCy库执行标记化和词形还原。我们还了解了如何使用NLTK进行词干提取。在下一篇文章中，我们将开始讨论Python中的词汇和短语匹配。

英文原文：https://stackabuse.com/python-for-nlp-tokenization-stemming-and-lemmatization-with-spacy-library/
译者：浣熊君( ･᷄৺･᷅ )