pandas处理较大数据量级的方法 - chunk,hdf,pkl

 

前情提要:   

工作原因需要处理一批约30G左右的CSV数据，数据量级不需要hadoop的使用，同时由于办公的本本内存较低的缘故，需要解读取数据时内存不足的原因。

操作流程：

方法与方式:首先是读取数据，常见的csv格式读取时一次性全部读取进来， 面对数据量较大(本次3亿条实车数据)时，需要 分批 并且有 选择性 的读取后 提取有效信息 删除冗余信息并清理内存。

同时，为了使处理数据时效率更高，将整理好的数据实时读取进来以后，保存成快速且可读的数据形式另行存储。然后释放内存并读取下一批数据直到整个流程结束

 

下面是操作代码:

#import pickle # pkl存储与 hdf5存储
import pandas as pd
# 释放内存
import gc
reader = pd.read_csv(r'E:\VEH_GBK_2019-01-01.csv', encoding='gbk',iterator=True,low_memory=False,usecols=[0,1,2,4])
title_mc=['location',