Python的Excel处理 二：批量csv转换excel格式及汇总多个Excel中指定列数据_如何用python把超大csv文件 根据某列拆成excel文件 csdn

  最近在处理关于温度的数据，其中需要提取平均温度的数据，但是由于数据量太大，直接在Excel中操作相当费时间，所以编写了python脚本来处理这些数据。主要是将同一个文件夹里面的所有Excel表格的指定列中的数据（例如，一个月的每日平均温度、降水量数据）提取到一张Excel表格中。

1. 汇总多个Excel中指定列数据到一张表格

实现代码：

import xlrd
import xlwt
from xlutils.copy import copy
import os
import  pandas  as pd


def create_excel(path, sheet_name):
    workbook = xlwt.Workbook()  # 新建一个工作簿
    workbook.add_sheet(sheet_name)  # 在工作簿中新建一个表格
    workbook.save(path)  # 保存工作簿

def read_data(FileName):
    # 1.打开文件
    open_file = xlrd.open_workbook(FileName)

    # 2.读取第二列的内容（表中第一列索引值为0）
    st = open_file.sheet_by_index(0)  #选取第一个工作表
    # 如果想要使用该代码，你可以改写下面的39为你想要的Excel的列号
    data = [st.cell_value(i,39) for i in range(1, st.nrows)]

    # 3.将表名追加到列表作为第一个元素
    title = open_file.sheet_names()
    data = title + data

    return data


def write_data(path, data):
    index = len(data) # 获取索引写入的行数
    workbook = xlrd.open_workbook(path) # 打开工作簿
    sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
    cols_old = worksheet.ncols  # 获取表格中已存在的数据的列数

    new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象
    new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格
    for i in range(0, index):
            new_worksheet.write( i, cols_old + 2, data[i])  # 追加写入数据		
    new_workbook.save(path)  # 保存工作簿
		

def get_file_name(file_dir):
    tmp_lst = []
    for root, dirs, files in os.walk(file_dir):
        for file in files:
            tmp_lst.append(os.path.join(root, file))
    return tmp_lst

def main():
    DIR_NAME = r'F:\\全国气象日数据\\插值文件\\合并2\\'
    create_excel(DIR_NAME + '合并2.xls','汇总数据')
    print(DIR_NAME + '合并2.xls')
    tmp_list = get_file_name(DIR_NAME)
    for dir in tmp_list:
        data = read_data(dir)
#        data1 = read_data1(dir)
        write_data(DIR_NAME + '\合并2.xls', data)
#        write_data(DIR_NAME + '\合并.xls', data)
        print('------------'+ dir.split("\\")[-1] + '数据写入成功！-----------' )

if __name__ == '__main__':
    main()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

结果显示：

合并2(文件)数据结果显示：

2. 批量csv转换excel格式

import os
import pandas as pd

def csv_save_as_xlsx(data_path):
    for dirpath,dirname,filenames in os.walk(data_path):         
        #os.walk()遍历文件
        for fname in filenames:
            file_name=os.path.join(dirpath,fname)  
            if file_name.endswith('.csv'):
                df = pd.read_csv(file_name,dtype ='object')
                floder,name = os.path.splitext(file_name) #分割后缀
                df.to_excel(f"{floder}.xls",index=False)
                print(f'{file_name} 转换完成')
                print('-----------------------------------------------------------------------------------------------------------')
                os.remove(file_name)
    print('OK!!!')

data_path="D:\\GoogleChrome\\新建文件夹\\"  #填自己的根文件目录
csv_save_as_xlsx(data_path)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
'
运行
运行