使用Spacy做中文词频和词性分析_spacy 中文模型

使用Spacy python库做中文词性和词频分析，读取word并给出其中每个词的词频和词性，写入excel表。

1、为什么选择Spacy库

相比与NLTK这个库更快和更准

2、Spacy库模型比较

2.1、zh_core_web_trf模型，模型大，准确性高。
需要确保你的Spacy版本是最新的，因为zh_core_web_trf是一个基于transformer的模型，因为它包含了整个transformer模型。下载和加载这个模型可能需要一些时间，并且会占用较多的内存。

2.2、传统的模型如zh_core_web_sm，模型小准确性低

2.3、常见问题
模型下不下来,直接去github下载whl或者在csdn上下载我的资源。
然后通过下列命名进行安装，先cd到模型放置的对应盘符下，再pip安装。

cd /your_path
pip install  xx.whl
1
2

3、代码

3.1、需要注意的问题

（1）、默认是英文词性 需要通过df[“词性”]=df[“词性”].map(en_to_cn_pos)转换为中文。df中的replace()和map都能对字典、列表、表达式进行替代。map还能对函数进行替代。
（2）、在没有GPU的情况下，模型推理巨慢无比，可以考虑使用以下的多进程方式，其中spacy库和模型可能无法pickle，需要放入analyze_text(text)函数内部进行import spacy。
但是spacy已经是一个自动并行处理的自然语言处理库。它使用了多种技术来实现并行处理，包括多线程、多进程和异步 I/O。手动并行后，对速度的提升非常有限。

3.2、整体代码如下：

import pandas as pd
from docx import Document
import spacy

# 分析文本
def analyze_text(text):
    # 加载Spacy的中文模型
    nlp = spacy.load('zh_core_web_trf')
    tokens = nlp(text)
    word_freq = {}

    for token in tokens:
        if token.text in word_freq:
            word_freq[token.text] += 1
        else:
            word_freq[token.text] = 1

        # 提取词性和词频
    results = []
    for token in tokens:
        results.append([token.text, token.pos_, word_freq[token.text]])

    # 转换为DataFrame
    df = pd.DataFrame(results, columns=['词', '词性', '词频'])

    return df

if __name__ == '__main__':
    # 英文词性和中文词性的对应关系
    en_to_cn_pos = {
        "NOUN": "名词",
        "VERB": "动词",
        "ADJ": "形容词",
        "ADV": "副词",
        "PRON": "代词",
        "CONJ": "连词",
        "PROPN": "专有名词",
        "ADP": "介词",
        "PUNCT": "标点符号"
    }
    # 读取Word文档
    path_r = r"C:\Users\xueshifeng\Desktop\合并.docx"
    doc = Document(path_r)
    text = ' '.join([paragraph.text for paragraph in doc.paragraphs])
    df=analyze_text(text)
    # 写入Excel
    df["词性"]=df["词性"].map(en_to_cn_pos)
    df.to_excel('analysis_results1.xlsx', index=False)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49