当前位置:   article > 正文

python flink_Flink - 入门学习

flink python

1. 前言

Flink是批流一体化的数据处理框架,性能卓越,诸多大厂都在使用。

由于时间原因,本篇文章只简单了解一下,后续会深入分析,以及经典case分享。

2. 安装pyflink

安装虚拟环境和pyflink

$ conda create -n py36 python=3.6

$ conda activate py36

$ conda install Cython

$ python -m pip install apache-flink==1.10.1

runtime需要jdk,下载jdk 10后解压,配置env

export JAVA_HOME=/home/xxx/java/jdk-10.0.2

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

flink 1.10 最高支持python3.7,暂不支持py38

通过clone repo的方式,可以安装最新版本的pyflink

3. run server

创建一个docker-compose,启动flink单机cluster

$ cat docker-compose.yml

version: "2.1"

services:

jobmanager:

image: ${FLINK_DOCKER_IMAGE_NAME:-flink}

expose:

- "6123"

<
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/一键难忘520/article/detail/789274
推荐阅读
相关标签
  

闽ICP备14008679号