Flink部署-standalone模式_flinkstandalone部署

安装

查看lib文件中没有该包，如果想要添加额外的组件，需要下载以下jar文件，并放在lib包中

jobmanager 作业调度，作业管理，作业分发
taskmanager 任务管理
yarn-session yarn部署
Kubernetes k8s部署
flink 最主要命令

本地状态放置在堆外内存
总内存 > 堆内存heap
槽位(task最大可执行,静态)   每个taskmanager的槽位  
并行度(动态执行能力,实际运行)   不超过所有的taskmanager的槽位
1
2
3
4

1.修改 flink/conf/flink-conf.yaml 文件：
远程过程控制/调用 jobmanager.rpc.address: localhost

jobmanager.rpc.address:hadoop1
1

2 修改/conf/slaves文件

cat ./conf/masters
cat ./conf/slaves
1
2

hadoop2
hadoop3
1
2

3 在conf目录下分发给另外两台机子

xsync flink-1.10.0
1

4 在bin目录下启动

./start-cluster.sh
1

jps查看状态

网页提交：localhost:8081 默认端口

打包：右侧Maven project -> lifecycle -> 先编译 compile -> 后打包package

上传好jar文件后，点击，

 entry class 入口类   右键点击Copy Reference
 Program arguments参数    --host localhost --port 7777
1
2

并行度优先级： 单个任务的并行度 > env全局变量的并行度 > 提交job时的并行度 > 默认集群状态的并行度

Show plan
socket 文本流不存在并行 ，因此读入时并行度为1
Submit
转圈，一直接收不到，提交任务失败，分配给任务的槽位不够
调大集群资源(槽位) – 改成计算机的运行核心数 或者 调小并行度

在命令行中运行

 ./bin/flink/run -c 实体类 -p 并行度 jar包位置 --host localhost --port 端口号
1

在命令行中取消,释放资源

./bin/flink list   显示jobID   
./bin/flink cancel jobID  取消jobID
1
2

./bin/flink list -a   显示已经取消的jobID
1