数据挖掘-语料库的构建

语料库：是我们要分析的所有文档的集合

使用搜狗实验室提供的语料库，里面有一个classlist，里面内容是文件的编号及分类名称

 

1、导入模块

import os   
import os.path

filePaths=[]    #建立一个空的列表来存放语料库的文件名称，数组变量
for root,dirs,files in os.walk(     
    "D:\\Python\\Python数据挖掘\\2.1\\SogouC.mini\\Sample"):
    for name in files:
        filePaths.append(os.path.join(root,name))

 使用os.walk传入这个目录作为参数，遍历该文件夹下的全部文件，该方法返回一个Truple的数组，第一个root是文件所在目录，第二个是root文件下的子目录命名为dirs，第三个root文件下的所有文件命名为files

拼接文件路径（可解决不同系统下的的文件拼接）

os.path.join(root,name)

 

2、把第一步的文件路径下的内容读取到内存中

 

import codecs

filePaths=[]
fileContents=[]
filenames=[]
for root,dirs,files in os.walk(
    "D:\\Python\\Python数据挖掘\\2.1\\SogouC.mini\\Sample"):
    for name in files:
        filePaths.append(os.path.join(root,name))
        filePath=os.path.join(root,name)
        f=codecs.open(filePath,"r",encoding="utf-8")
        fileContent=f.read()   #读取内容后关闭
        fileContents.append(fileContent)

 

使用codecs.open(filePath,method,encoding)来打开文件，然后用文件的read()方法

 

3、把读取到的内容变成一个数据框

import pandas
corpos=pandas.DataFrame({
        "filePath":filePaths,
        "fileContent":fileContents,
        "class":filenames})