自制Flink Parcel集成CDH（Flink1.13.2 + CDH6.2.1+Scala2.11）_flink-1.13.2-bin-scala_2.11适配cdc

自制Flink Parcel集成CDH（Flink1.13.2 + CDH6.2.1+Scala2.11）

记录制作flink parcel

环境（虚拟机，系统CentOS7.6）

（1）jdk1.8（open）
（2）maven3.8.1
（3）parcel制作工具
1
2
3

1. jdk、maven自行安装
2. flink 相关下载

注：可不需要提前下载
flink下载地址：https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz
parcel制作工具下载地址：https://github.com/pkeropen/flink-parcel.git（github提供的工具包）
1
2
3

3. 制作parcel

parcel制作方式大致有两种，第一种是使用源生的制作方法，制作过程繁琐复杂，第二种是使用广大网友制作好的parcel制作工具，本文使用后者

下载制作工具：
git clone https://github.com/pkeropen/flink-parcel.git
完成后会在当前目录生成一个flink-parcel的文件，证明下载成功

修改配置文件
cd ./flink-parce
vim flink-parcel.properties
进行相应修改，内容如下：
#FLINK 下载地址
FLINK_URL=https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz

#flink版本号
FLINK_VERSION=1.13.2

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6


保存并退出

然后进行build
./build.sh  parcel
下载并打包完成后会在当前目录生成FLINK-1.13.2-BIN-SCALA_2.11_build文件

构建flink-yarn csd包
./build.sh csd_on_yarn
执行完成后会生成FLINK_ON_YARN-1.13.2.jar

将FLINK-1.13.2-BIN-SCALA_2.11_build打包
tar -cvf ./FLINK-1.13.2-BIN-SCALA_2.11.tar ./FLINK-1.13.2-BIN-SCALA_2.11_build/

将FLINK-1.13.2-BIN-SCALA_2.11.tar 
FLINK_ON_YARN-1.12.0.jar下载，这两个包就是目标包

上传到正式环境服务器(局域网yum提供的节点)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

4. 集成cm

将上传的FLINK-1.13.2-BIN-SCALA_2.11.tar进行解压到/var/www/html
tar -xvf FLINK-1.13.2-BIN-SCALA_2.11.tar -C /var/www/html

重命名
mv FLINK-1.13.2-BIN-SCALA_2.11_build flink
cd /var/www/html/flink
createrepo .

配置局域网flink的yum
cd /etc/yum.repo.d
vim ./flink.repo
输入如下内容
[flink]
name=flink
baseurl=http://yum源ip/flink
enabled=1
gpgcheck=0

登录cm
在parcel配置界面添加flink的parcel源
然后进行下载→分配→解压→激活

然后登录服务器，将FLINK_ON_YARN-1.13.2.jar上传到cm主节点的/opt/cloudera/csd/目录下（目的是让cm识别）

注：此时在cm添加服务可能无法看到有flink服务，需要重启集群的agent以及cm server

重新启动cm后即可看到flink，并可以执行添加操作了
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

5. 可能会出现的问题

缺yarn的依赖和缺少flink连接hadoop3的包还有一个commons-cli-1.4.jar flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar(所有flink节点都需要添加)，可以自行下载这两个包（联系博主也可以）

mv commons-cli-1.4.jar flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar /opt/cloudera/parcels/FLINK/lib/flink/lib/

添加完成后再重试还会报一个与Kerberos相关的错误，由于我的集群并没有开启Kerberos，所以需要到flink的配置界面中把Kerberos相关的配置删除，完后再重启就能够正常启动了。
1
2
3
4
5

启动后flink在cm界面的显示状态为？问题
在cm界面重启cm服务即可解决

1
2
3