笔触狂放9

这个屌丝很懒，什么也没留下！

热门标签

Python 自然语言处理入门(1)，2024年腾讯Python高级面试题及答案

作者：笔触狂放9 | 2024-06-06 16:34:33

踩

接下来，导入pos_tag()函数并在一句话上运行：

from nltk.tag import pos_tag

sample = “Hi, this is a nice hotel.”

print(pos_tag(word_tokenize(sample)))

您会注意到输出是对的列表。每对都由一个标记及其标记组成，它表示整个文本中标记的上下文。请注意，标点符号的标签本身就是：

[(‘Hi’, ‘NNP’),

(‘,’, ‘,’),

(‘this’, ‘DT’),

(‘is’, ‘VBZ’),

(‘a’, ‘DT’),

(‘nice’, ‘JJ’),

(‘hotel’, ‘NN’),

(‘.’, ‘.’)]

你如何解码每个令牌的上下文？以下是Web 上所有标签及其对应含义的完整列表。请注意，所有名词的标签都以“N”开头，所有动词的标签都以“V”开头。我们可以在.lemmatize()方法的第二个参数中使用此信息：

def lemmatize_tokens(stentence):

lemmatizer = WordNetLemmatizer()

lemmatized_tokens = []

for word, tag in pos_tag(stentence):

if tag.startswith(‘NN’):

pos = ‘n’

elif tag.startswith(‘VB’):

pos = ‘v’

else:

pos = ‘a’

lemmatized_tokens.append(lemmatizer.lemmatize(word, pos))

return lemmatized_tokens

sample = “Legal authority constitutes all magistrates.”

print(lemmatize_tokens(word_tokenize(sample)))

上面代码的输出如下：

[‘Legal’, ‘authority’, ‘constitute’, ‘all’, ‘magistrate’, ‘.’]

该输出是预期的，其中“构成”和“地方法官”已分别转换为“构成”和“地方法官”。

第三步：数据清理

准备数据的下一步是清理数据并删除任何不会对您的分析增加意义的内容。从广义上讲，我们将着眼于从您的分析中删除标点符号和停用词。

删除标点符号是一项相当容易的任务。该库的punctuation对象string包含所有英文标点符号：

import string

print(string.punctuation)

此代码段的输出如下：

‘!"#$%&</span>’()*+,-./:;<=>?@[</span></span>]^_`{|}~’

为了从标记中删除标点符号，您可以简单地运行以下命令：

for token in tokens:

if token in string.punctuation:

# Do something

接下来，我们将专注于删除停用词。停用词是语言中的常用词，如“I”、“a”和“the”，在分析文本时对文本的意义不大。因此，我们将从分析中删除停用词。首先，stopwords从 NLTK 下载器下载资源：

nltk.download(‘stopwords’)

stopwords下载完成后，导入nltk.corpus并使用.words()以“english”为参数的方法。这是英语中 179 个停用词的列表：

from nltk.corpus import stopwords

stop_words = stopwords.words(‘english’)

我们可以将词形还原示例与本节中讨论的概念结合起来创建以下函数clean_data()。此外，在比较一个词是否是停用词列表的一部分之前，我们将其转换为小写。这样，如果停用词出现在句子的开头并且大写，我们仍然会捕获它：

def clean_data(tokens, stop_words = ()):

cleaned_tokens = []

for token, tag in pos_tag(tokens):

if tag.startswith(“NN”):

pos = ‘n’

elif tag.startswith(‘VB’):

pos = ‘v’

else:

pos = ‘a’

lemmatizer = WordNetLemmatizer()

token = lemmatizer.lemmatize(token, pos)

if token not in string.punctuation and token.lower() not in stop_words:

cleaned_tokens.append(token)

return cleaned_tokens

sample = “The quick brown fox jumps over the lazy dog.”

stop_words = stopwords.words(‘english’)

clean_data(word_tokenize(sample), stop_words)

该示例的输出如下：

[‘quick’, ‘brown’, ‘fox’, ‘jump’, ‘lazy’, ‘dog’]

如您所见，标点符号和停用词已被删除。

词频分布

现在你已经熟悉了 NLP 中的基本清洗技术，让我们试着找出文本中单词的频率。在本练习中，我们将使用古腾堡上免费提供的童话故事_《老鼠、鸟和香肠》的文本。_我们将把这个童话故事的文本存储在一个字符串中，text.

首先，我们使用上面定义的函数进行标记text然后清理它：clean_data

tokens = word_tokenize(text)

cleaned_tokens = clean_data(tokens, stop_words = stop_words)

要查找文本中单词的频率分布，可以使用FreqDistNLTK 类。使用标记作为参数初始化类。然后使用该.most_common()方法找到常见的术语。让我们尝试找出这种情况下的前十项：

from nltk import FreqDist

freq_dist = FreqDist(cleaned_tokens)

freq_dist.most_common(10)

以下是这个童话故事中最常出现的十个术语：

[(‘bird’, 15),

(‘sausage’, 11),

(‘mouse’, 8),

(‘wood’, 7),

(‘time’, 6),

(‘long’, 5),

(‘make’, 5),

(‘fly’, 4),

(‘fetch’, 4),

(‘water’, 4)]

不出所料，三个最常用的名词就是童话里的三个主角。

在分析文本时，单词的频率可能不是很重要。通常，NLP 的下一步是生成一个统计数据——TF-IDF（词频——逆文档频率）——它表示一个词在文档列表中的重要性。

结论

在本教程中，我们首先了解了 Python 中的自然语言处理。我们将文本转换为标记，将单词转换为其基本形式，最后清理文本以删除任何没有为分析增加意义的部分。
如果对Python有兴趣，想了解更多的Python以及AIoT知识，解决测试问题,以及入门指导，帮你解决学习Python中遇到的困惑，我们这里有技术高手。如果你正在找工作或者刚刚学校出来，又或者已经工作但是经常觉得难点很多，觉得自己Python方面学的不够精想要继续学习的，想转行怕学不会的，都可以加入我们，可领取最新Python大厂面试资料和Python爬虫、人工智能、学习资料！微信公众号【Python大本营】等你来玩奥~

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。