Flink+Kafka：构建日志采集+流式处理分析日志_flink分析kafka日志

        Flink和Kafka的配合难点在于版本的适配，本文提供已适配版本，并且提供docker镜像、docker启动脚本以及k8s多副本部署Flink和Kafka的部署脚本。

一、版本选择

        Flink：1.10.0-scala_2.12

        Kafka：2.12-2.3.1

        wurstmeister/zookeeper：3.4.6

        版本资源、docker部署脚本以及k8s多副本方式部署脚本（包含k8s各个pod之间的动态通信脚本）请到Flink+Kafka搭建流式处理框架（内涵docker部署脚本和k8s多副本部署脚本）-flink文档类资源-CSDN下载flink搭配kafka，构建流式采集框架，提供了docker部署方式脚本和k8s多副本方式部署脚本更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/jdk819/36732717获取。

二、Docker版本部署

        下面图片贴出了部署脚本deploy.sh，其中flink的docker-compose.yml编排脚本，请去上面的资源路径获取。

• 如果需要部署多个kafka的docker容器，可以复制Kafka容器的部署命令，并修改对外映射端口号和容器名称即可

 三、Kubernetes版本部署

        k8s采用多副本方式部署，难点在于解决各个pod之前的通信问题，比如zookeeper和kafka之间的通信等。

        废话不多说，放出部署成功的截图，资源请去上面的链接中获取。

• k8s中三副本部署zookeeper和Kafka

• k8s中三副本部署flink

• flink对外接口

        k8s的主节点为10.21.70.183，通过http://10.21.70.183:30328/访问flink页面如下：