关于pandas&python读取parquet文件_parquet python

引言

• 仅作为参考，起因是工作中需要用到pandas读取parquet格式的文件，结果发现需要另外安装适配的包，一顿倒腾代价还不如在项目加一步处理，因此不再需要读取parquet文件的读取操作，所以该文章只作为以后再遇到本场景的一个flag。

如何查询python包的所有历史版本

注：在安装读取parquet文件的包之前要看看是否有版本兼容问题，以免走弯路。

https://pypi.org/project/包名/#history
1

安装读取parquet文件的包

早一些的pandas可以使用read_parquet函数

• 需要安装pyarrow fastparquet包
• 注意：按照顺序 pip install 依次安装 pyarrow和fastparquet包，顺序错了就会报错，因为有以来关系

当前pandas可以使用read_table函数

• 由于python的改版，旧版本的函数也不好使了，所以可以试试新版的读取函数

pip install pyarrow
import pyarrow as pa
import pyarrow.parquet as pq
df = pq.read_table(u'parq文件的路径').to_pandas()
1
2
3
4

参考资料

• read_parquet函数安装包安装顺序参考
• https://blog.csdn.net/weixin_39691233/article/details/111665821
• 查询python包的版本问题
• https://blog.csdn.net/qq_29752857/article/details/112011106
• 使用read_table函数
• https://blog.csdn.net/weixin_45126025/article/details/122988260
• 读取parquet格式文件遇到的一些问题
• https://zhuanlan.zhihu.com/p/363578577

本文仅供参考，本人并未测试通