赞
踩
基本想法
遍历文件夹并从中找到文件名称符合我们需求的多个.txt格式文本文件,并从每一个文本文件中,找到我们需要的指定数据,最后得到所有文本文件中我们需要的数据的集合
举例
如现有名为file一个文件夹,里面含有大量的.txt格式文本,需要从文件名中找到含有test字段的文件,并且取出name是李四、李五、王五的用户数据。
代码示例
# -*- coding: utf-8 -*- import os import pandas as pd def concat_data(ori_path, target_list): result_df = pd.DataFrame() for file in os.listdir(ori_path): if file.endswith(".txt") and file[0:4] == "test": file_path = os.path.join(ori_path, file) df = pd.read_csv(file_path, delimiter="\t") # try: select_df = df[df["Name"].isin(target_list)] data_append = select_df if not data_append.empty: result_df = pd.concat([result_df, data_append]) # except: # pass # result_df.reset_index(drop=False, inplace=True).drop(['index'], axis=1) result_df.to_csv(ori_path + '/result.csv', encoding='ANSI') return result_df if __name__ == '__main__': f_path = r"D:\program" f_var = ['李四', '李五', '王五'] concat_data(f_path, f_var)
原始数据
结果展示
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。