赞
踩
问题描述:
根据文档正常配置完dolphinscheduler后启动执行shell命令,而shell命令为sqoop脚本抽取mysql数据到Hdfs上。
一开始报找不到$HADOOP_HOME $HADOOP_CONF_DIR后添加如下环境变量 vim /etc/profile
export HADOOP_HOME=/usr/hdp/3.1.4.0-315/hadoop
export HADOOP_CONF_DIR=/usr/hdp/3.1.4.0-315/hadoop/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
dolphinscheduler配了 $HADOOP_COMMON_HOME hadoop安装根目录
无论怎么配这个dolphinscheduler一直都找/opt/soft位置下部署的hadoop。
解决办法:
由于我是hdp部署的集群,将hadoop安装根目录链接到/opt/soft/目录即可。
ln -s /usr/hdp/3.1.4.0-315/hadoop/ /opt/soft/
重跑后任务执行成功
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。