flink1.12.3+python3.7+pyflink实时消费kafka_pyflink flinkkafkaconsumer

目录

一、环境介绍

二、思路梳理

三、启动zookeeper、kafka、flink集群（本地）等步骤省略

四、数据生成器（这个测试的时候用的python2，问题不大）

五、pyflink实时读流

六、提交作业

七、一些异常和报错

一、环境介绍

centos7、anaconda的虚拟环境python3.7、官网原生flink1.12.3、官网原生kafka_2.12-2.7.0、官网原生apache-zookeeper-3.6.3-bin

开始想用python2来搞，但是问题比较多，参看官网，python2.7只能支持到flink1.9.3，后面的tableAPI没有什么支持。

二、思路梳理

写一个数据生成器往kafka里面生产数据——>pyflink实时消费kafka的流数据

三、启动zookeeper、kafka、flink集群（本地）等步骤省略

四、数据生成器（这个测试的时候用的python2，问题不大）

# --coding=utf8--
import kafka
# 循环向kafka写数
import datetime
import time
 
 
kp=kafka.KafkaProducer(bootstrap_servers="localhost:9092")
for i in range(0,100):
    kp.send(topic="haha",value="test_"+datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S"))
    time.sleep(1)
kp.flush()
kp.c