pandas之pd.read_parquet()和pd.to_parquet()介绍

为何要用 parquet

小伙伴可能要问了，这是个什么玩意？pd.read_csv不行嘛？结果都是返回DataFrame。确实结果是一样的，可是加载数据的耗时相差很多。

1. pd.to_parquet() 存

sales.to_parquet('../notebook_data/downcast_sales.parquet')  # 存了起来
1

2. pd.read_parquet() 取

pandas.read_parquet(path, engine='auto', columns=None, use_nullable_dtypes=False, **kwargs)

1
2

s = pd.read_parquet('../notebook_data/downcast_sales.parquet')
1

描述

从文件路径加载一个parquet对象，返回一个DataFrame

参数

path : str, path object or file-like object
文件路径

engine : {‘auto’, ‘pyarrow’, ‘fastparquet’}, default ‘auto’
如果为“自动”，则使用选项io.parquet.engine。
io.parquet.engine的默认行为是尝试使用“ pyarrow”，如果“ pyarrow”不可用，则退回到“ fastparquet”。

columns : list, default=None
如果不是None，则只从文件中读取这些列

use_nullable_ : dtypesbool, default False

返回

DataFrame

参考链接
[1] pandas—pandas.read_parquet 2021.1