Python读取.parquet文件_python批量读取parquet文件

作者：知新_RL | 2024-05-01 00:18:47

踩

python批量读取parquet文件

提示：在MacOS 和 Jupyter notebook环境下的用法

Device: MacOS
Python: 3.10.9
Pandas: 1.5.3
Jupyter notebook

问题描述

直接用pandas 中pd.read_parquet()即可，但是这个方法在和read_csv一样用之前需要先安装fastparquet活着pyarrow，方法如下：

打开MacOS的终端，输入：

pip install fastparquet
# 或者
pip install pyarrow
1
2
3

Fast parquet 和Pyarrow安装之后，只需要在Jupyter notebook中正常地 import pandas 就可以像用pandas读取CSV文件那样读取parquet文件了。

import pandas as pd
file = pd.read_parquet(filename) # filename指的是你要读取的parquet的路径
1
2

具体的其他参数依据需求详见官方文档.

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/515995