当前位置:   article > 正文

dolphinscheduler配置hadoop后执行脚本报错ERROR:Cannot execute /opt/soft/hadoop/libexec/hadoop-config.sh_cannot execute hdfs-config.sh

cannot execute hdfs-config.sh

问题描述:
根据文档正常配置完dolphinscheduler后启动执行shell命令,而shell命令为sqoop脚本抽取mysql数据到Hdfs上。
在这里插入图片描述
一开始报找不到$HADOOP_HOME $HADOOP_CONF_DIR后添加如下环境变量 vim /etc/profile

export HADOOP_HOME=/usr/hdp/3.1.4.0-315/hadoop
export HADOOP_CONF_DIR=/usr/hdp/3.1.4.0-315/hadoop/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
  • 1
  • 2
  • 3

dolphinscheduler配了 $HADOOP_COMMON_HOME hadoop安装根目录
dolphinscheduler
无论怎么配这个dolphinscheduler一直都找/opt/soft位置下部署的hadoop。

解决办法:

由于我是hdp部署的集群,将hadoop安装根目录链接到/opt/soft/目录即可。

ln -s  /usr/hdp/3.1.4.0-315/hadoop/  /opt/soft/
  • 1

重跑后任务执行成功
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/632929
推荐阅读
相关标签
  

闽ICP备14008679号