Python处理大文件_pkl文件太大了

作者：花生_TL007 | 2024-04-17 04:46:16

踩

pkl文件太大了

1. pickle模块

数据对象持久化。
使用示例：

import pickle
import os
import pandas as pd
file_path="./cache/data.pkl"
if os.exists(file_path):
    data=pickle.load(open(file_path))#反序列话，把数据解析为一个python对象。存进去是dataframe,解析出来还是dataframe
else:
    data=pd.read_csv("./dataset/user_profile.csv")
    #中间一系列转换操作
    pickle.dump(data,open(file_path)#通过dump把处理好的数据序列化1
2
3
4
5
6
7
8
9
10

2.chunk分块读取数据

当一个文件太大，例如几个G，电脑配置限制，无法一次性读入内存，可以分块读入。例如：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/438288