Flink SQL 在kerberos on yarn环境下提交_flink 1.17 yarn kerberos

yarn环境中一般都会配置kerberos 用来做权限管控，flink 在 kerberos on yarn环境中提交作业时，需要做一些配置处理，用来帮助做认证。

参考文档，需要在flink-conf.yaml中配置

security.kerberos.krb5-conf.path: /etc/krb5.conf

security.kerberos.login.use-ticket-cache: true
security.kerberos.login.keytab: /data/flink.keytab
security.kerberos.login.principal: flink/api@EXAMPLE.COM
1
2
3
4
5

然后通过flink-client进行提交

/data/etl/ll_test/flink-1.13.5/bin/flink run -t yarn-per-job -Dyarn.application.name=kafka2hbase -Dparallelism.default=1 -Djobmanager.memory.process.size=2048mb -Dtaskmanager.memory.process.size=2048mb -Dtaskmanager.numberOfTaskSlots=1 -Drest.flamegraph.enabled=true -c cn.com.example.bigdata.index.app.IndexServiceApp /data/etl/ll_test/jars/bigdata-etl-index-3.2.0.jar 5 30 hdfs submit_test_job /data/etl/ll_test/sql.txt

即可将作业提交到yarn上。

如果没有在flink-conf.yaml中进行配置，yarn会拒绝作业的提交。

• hb