Flink运行wordcount——读写hdfs_flink word hdfs

当hadoop配置了kerberos时，提交命令要修改一下：

1.kerberos切换为yarn用户

kinit -kt /opt/TDP/keytab/yarn.keytab yarn/node170@HADOOP.CHINATELECOM.CN

2.命令行导入环境变量

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/TDP/hadoop/lib

3.提交flink任务到yarn集群

flink run -m yarn-cluster \
-yd \
-yjm 1024m \
-ytm 1024m \
-ynm UserVisitCount \
-p 10 \
-ys 4 \
-yD security.kerberos.login.keytab=/opt/TDP/keytab/yarn.keytab \
-yD security.kerberos.login.principal=yarn/node170@HADOOP.CHINATELECOM.CN \
/opt/TDP/flink/examples/streaming/WordCount.jar \
--input "hdfs:///testdir/abc.txt" \
--output "hdfs:///result"

注意：

--input目录文件要提前上传

--output目录不要创建，否则任务会失败！

如果hadoop没有配置kerberos，删除这两条命令提交试试

-yD security.kerberos.login.keytab=/opt/TDP/keytab/yarn.keytab \
-yD security.kerberos.login.principal=yarn/node170@HADOOP.CHINATELECOM.CN \