NLP中的红楼梦_古文nlp’

作者：秋刀鱼在做梦 | 2024-07-26 10:17:15

踩

古文nlp’

兜兜转转学NLP学了一个月，结果还在皮毛上，今天打算使用NLP对自己喜欢的红楼梦进行梳理。

这篇文章的目的，建立红楼梦的知识库

1、主要人物说话关键字提取

2、

一、建立语料库

语料库是以后我们分词以及建立模型的基础，我们将红楼梦各章节的内容以一句话一行的形式建立语料库。


└─data         # 根目录
    └─chapters         # 存放文档
            01.txt
            02.txt
            03.txt
            04.txt
            05.txt
            06.txt
            07.txt
    │
    └─corpus         # 存放语料
            01.txt
            02.txt
            03.txt
            04.txt
            05.txt
            06.txt
            07.txt


#construct_corpus.py
import re
import matplotlib.pyplot as plt
import pandas
from itertools import chain
#defaultdict的作用是在于，当字典里的key不存在但被查找时，返回的不是keyError而是一个默认值
from collections import defaultdict
from string import punctuation
    
# 定义要删除的标点等字符
add_punc='，。、【 】 “”：；（）《》‘’{}？！⑦()、%^>℃：.”“^-——=&#@￥『』'
all_punc=punctuation+add_punc
import os
os.chdir('D:/good_study/NLP/红楼梦/')
chapters_path = 'D:/good_study/NLP/红楼梦/data/chapters/'
corpus_path = 'D:/good_study/NLP/红楼梦/data/corpus/'
#/*-----------------------------------------------*/
#/* 1、各章一句话一行的形式建立语料库
#/*-----------------------------------------------*/
# 处理得到所有章节地址列表
listdir = os.listdir(chapters_path)
# listdir=listdir[:9]
#所有章节的每句话列表
sentences_all_list = []
for filename in listdir:
    print("正在处理第{}章节".format(filename))
    chapters_root_path = chapters_path + str(filename)
    #每个章节的每句话列表
    sentences_list = []
    with open(chapters_root_path,'r', encoding='utf8') as f:
        for line in f.readlines():
            # 把元素按照[。！；？]进行分隔，得到句子。
            line_split = re.split(r'[，。！；？]',line.strip())
            # [。！；？]这些符号也会划分出来，把它们去掉。
            line_split = [line.strip() for line in line_split if line.strip() not in ['。','！','？','；'] and len(line.strip())>1]
            #移除英文和数字
            line_split = [re.sub(r'[A-Za-z0-9]|/d+','',line) for line in line_split]
            # #移除标点符号
            line_split = [''.join(list(filter(lambda ch: ch not in all_punc, line) )) for line in line_split]
            sentences_list.append(line_split)
            # print("="*30)
    #chain.from_iterable 将嵌套的列表无缝连接在一起
    sentences_list = list(chain.from_iterable(sentences_list))
    sentences_all_list.append(sentences_list)
 
    corpus_root_path = corpus_path + str(filename)
 
    with open(corpus_root_path,"w", encoding='utf8') as f:
        for line in sentences_list:
            f.write(line)
            f.write('\n')
            
#构建全书语料库
sentences_all_list = list(chain.from_iterable(sentences_all_list))
corpus_root_path=corpus_path+'whole_book.txt'
with open(corpus_root_path,"w", encoding='utf8') as f:
    for line in sentences_all_list:
        f.write(line)
        f.write('\n')
 
#/*-----------------------------------------------*/
#/* 2、分析各章字数
#/*-----------------------------------------------*/
# 处理得到所有章节地址列表
listdir = os.listdir(corpus_path)
line_words_list=[]
chapter_list=[]
# listdir=listdir[:9]
#所有章节的每句话列表
for filename in listdir:
    corpus_root_path = corpus_path + str(filename)
    #提取章节数字
    num = int(re.findall('\d+',filename)[0])
    chapter_list.append(num)
    with open(corpus_root_path,"r", encoding='utf8') as f:
        line_words=0
        for line in f.readlines():
            line_words+=len(line)
        line_words_list.append(line_words)
        print("{}章节，共{}字，验证章节{}".format(filename,line_words,num))
        
chapter_words=pandas.DataFrame({'chapter':chapter_list,
                               'chapter_words':line_words_list})
 
chapter_words.sort_values(by='chapter',ascending=True, inplace=True)
chapter_words = chapter_words.set_index(keys=['chapter'])
chapter_words['chapter_words'].plot(kind='bar',color = 'g',alpha = 0.5,figsize = (20,15)) 
plt.show()