赞
踩
一. 获取文本语料库
1. 古腾堡语料库
古腾堡语料库:包含古腾堡项目电子文本档案的一小部分文本,该项目大约有25000(现在是36000)本免费电子书。(文学类,比较正式的语言)
raw()函数:能在没有进行过任何语言学处理之前把文件的内容分析出来。
sents()函数: 把文本划分位一个句子,其中每一个句子是一个词链表。
words()函数:返回词数。
获取:from nltk.corpus import gutenberg
写一段简短的程序,通过循环遍历前面所列出与gutenberg文件标识符相应的fileid,然后计算统计每个文本。统计量:平均词长、平均句子长度、和本文中每个词出现的平均次数(词汇多样性)。
2.网络与聊天文本
网络与聊天文本(非正式):Firefox交流论坛、在纽约无意间听到的对话、《加勒比海盗》的电影剧本、个人广告和葡萄酒的评论。
获取: from nltk.corpus import webtext
还有一个即时消息聊天会话语料库,最初由美国海军研究生院为研究自动检测互联网入侵者而收集的。
获取:from nltk.corpus import nps_chat
3. 布朗语料库
布朗语料库:是第一个百万词级的英语电子语料库,这个语料库包含500个不同来源的文本,按照文体分类,如新闻、社论等。是一个研究文体之间的系统性差异的资源。
获取:from nltk.corpus import brown
比较不同文体中情态动词的用法
第一步:对特定文体进行计数
第二步:使用条件频率分布函数
4. 路透社语料库
路透社语料库:包含10788个新闻文档,这些文档分成90个主题,按照“训练”和“测试”分为两组。路透社语料库的类别是互相重叠的,我们可以查找一个或多个文档涵盖的主题,也可以查找在一个或多个类别中的文档。
获取:from nltk.corpus import reuters
5. 就职演说语料库
就职演说语料库:实际上是55个文本的集合,每个文本都是一个总统的演说,这个集合的一个显著特性是时间维度,每个文本的年代都出现在它的文件名中,要从文件名中获取年代使用fileid[:4]提取前四个字符。
获取:from nltk.corpus import inaugural
查看词汇america和citizen随时间推移使用情况。
6. 标注文本语料库与其他语言语料库
7. 载入自己的语料库
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。