parquet数据格式读取和转换( 阿里云物联网平台)_parquet读取字段格式

阿里云物联网平台上设备上报的数据转储到OSS中后下载下来是parquet格式的，由于目前并不需要用到大数据处理，只需转换成我们可以看懂的格式，因此找到了这个转换软件。
软件下载：https://github.com/Eugene-Mark/bigdata-file-viewer
该软件需要javafx，安装请看：安装jfx
软件的安装及使用：

❯ java --module-path $PATH_TO_FX --add-modules=javafx.controls -jar /***/***/***/BigdataFileViewer-1.1.1-SNAPSHOT-jar-with-dependencies.jar

1
2

界面：

可以转csv格式：

为了使软件用起来方便，写一个可执行的脚本parket_run.sh，脚本内容：

#!/usr/bin/env bash

[[ -n $DEBUG ]] && set -x
set -eou pipefail

export PATH_TO_FX=/Library/Java/JavaVirtualMachines/jdk-13.0.2.jdk/javafx-sdk-11.0.2/lib
java --module-path $PATH_TO_FX --add-modules=javafx.controls -jar /***/***/***/BigdataFileViewer-1.1.1-SNAPSHOT-jar-with-dependencies.jar
1
2
3
4
5
6
7

下次用的时候直接执行 ./parket_run.sh 就可以啦！