StreamX1.2.1+flink1.12.7 平台部署_flink 1.12.7 .zip 下载

（目前streamx已经发布了稳定版，大家可以自行下载编译，文章的基于1.2.1，建议使用最新稳定版，安装方法大同小异 ）

StreamX-Github

StreamX1.2.1+flink1.12.7 平台部署

1. 必须环境准备

1. StreamX最新版本1.2.1支持用户上传jar包的方式运行代码，目前支持flink版本为1.12以上
2. 前后端混合编译得到StreamX最新安装包 streamx-console-service-1.2.1-bin.tar.gz
3. hadoop环境准备
4. flink安装包准备，本例使用flink1.12.7 https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.11.tgz

2. 安装机器环境变量配置

如果是使用cdh安装的hadoop，可以参考以下配置

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #hadoop 安装目录
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HIVE_HOME=$HADOOP_HOME/../hive
export HBASE_HOME=$HADOOP_HOME/../hbase
export HADOOP_HDFS_HOME=$HADOOP_HOME/../hadoop-hdfs
export HADOOP_MAPRED_HOME=$HADOOP_HOME/../hadoop-mapreduce
export HADOOP_YARN_HOME=$HADOOP_HOME/../hadoop-yarn
1
2
3
4
5
6
7

3. 安装StreamX

# 1.自行新建mysql数据库 streamx

# 2.解压安装包  
tar -zxvf streamx-console-service-1.2.1-bin.tar.gz -C /opt/dp/

# 3.进入目录
cd /opt/dp/streamx-console-service-1.2.1

# 4.将以下脚本在mysql中运行，创建表结构，初始化数据
├── script
│     ├── final                 // 完整的ddl建表sql
│     ├── upgrade               // 每个版本升级部分的sql(只记录从上个版本到本次版本的sql变化)

# 5.修改配置
进入到 conf 下，修改 conf/application.yml,找到 datasource 这一项，找到 mysql 的配置，修改成对应的信息即可

# 6.启动后端
cd streamx-console-service-1.0.0/bin
bash startup.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

4. 安装flink

1. 解压安装包flink-1.12.7-bin-scala_2.11.tgz 到/opt/dp目录下

2. 修改配置flink-1.12.7/conf/flink-conf.yaml，增加以下配置

   classloader.check-leaked-classloader: false
   1

5. 登录ui配置flink任务

1. 打开浏览器 输入http://$host:10000 即可登录streamx控制台

2. 配置flink_home

   

3. 配置StreamX Webapp address

   

4. 上传任务并运行