当前位置:   article > 正文

datasophon组件安装时踩坑记录_datasophon 安装hdfs 失败

datasophon 安装hdfs 失败

grant all privileges on *.* to 'root'@'%' identified by 'xxxx';

1. 安装hdfs后有一个namenode进程未启动

解决:在那个未启动的节点上执行 hdfs namenode -bootstrapStandby  之后在web页面重启hdfs

2. hive on spark 编译

hive on spark编译icon-default.png?t=N7T8https://blog.csdn.net/qq_39035267/article/details/126608808之后替换datasophon节点上的hive的jar包。只替换红框中的和hive-spark-client-3.1.3等包

集成hive on spark集成hudi需要注意的点:

下载spark-without-hadoop的包。删除lib目录下 parquet相关的jar包。上传至hdfs

set spark.yarn.jars = hdfs://nameservice1/sparkjars/* ;
set hive.execution.engine =spark; 

同时替换hive的lib目录的parquet-hadoop-bundle-xx.jar

  1. <!--配置hive on spark-->
  2. <property>
  3. <name>spark.yarn.jars</name>
  4. <value>hdfs://nameservice1/sparkjars/*</value>
  5. </property>
  6. <property>
  7. <name>hive.execution.engine</name>
  8. <value>spark</value>
  9. </property>
  10. <property>
  11. <name>hive.spark.client.connect.timeout</name>
  12. <value>100000</value>
  13. </property>

3. doris版本替换

下载这三个包  按照1.1.5内的格式命名  

在be和fe的bin目录加上status_be.sh或者status_fe.sh   修改service_ddl.json  然后重启

需要把udf那个jar包放在be的lib目录 重新压缩

 4. hive版本修改(spark版本一样,spark直接下载二进制包就行。hive没测试用的3.1.3)

修改/opt/datasophon-manager-1.1.1/conf/meta/DDP-1.0.0/HIVE/service_ddl.json里面的hive版本

重启命令:bin/datasophon-api.sh restart api

需要修改/opt/datasophon/datasophon-worker/script/datasophon-env.sh的hive版本(重启)

重启命令:service datasophon-worker restart

修改/etc/profile.d/datasophon-env.sh的hive版本  然后source 

5.安装kerberos以后的组件问题。

5.1 yarn重启后出现NodeManager进程没法启动的问题。原因缺少libcrypto.so.1.1这个包。

解决:

  1. wget https://www.openssl.org/source/openssl-1.1.1g.tar.gz
  2. tar xzf openssl-1.1.1g.tar.gz
  3. cd openssl-1.1.1g
  4. ./config
  5. make
  6. sudo make install
  7. 之后编译后的文件创建软链接到 /usr/lib64目录下
  8. ln -s /export/software/openssl-1.1.1g/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1

5.2 hive on spark 没法启动

解决:

  1. 在spark-default.conf中
  2. spark.kerberos.principal        hive/(metastore那台节点的host)@HADOOP.COM
  3. spark.kerberos.keytab        /etc/security/keytab/hive.service.keytab
  4. 也要修改hive-site.xml中的keytab为metastore的
  5. 这两个参数的value设为空 然后分发到其他节点 重启yarn
  6. <property>
  7. <name>yarn.resourcemanager.scheduler.class</name>
  8. <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  9. </property>
  10. <property>
  11. <name>yarn.scheduler.fair.allocation.file</name>
  12. <value>${INSTALL_PATH}/hadoop-3.3.3/etc/hadoop/fair-scheduler.xml</value>
  13. </property>
  14. 原因:hive on spark的原理是通过hivemestore解析后的job通过spark提交给yarn 
  15. 其他节点的hiveserver2 也要配置为hive/(metastore那台节点的host)@HADOOP.COM
  16. 后期发现在dbeaver无法执行hive on spark 原因是:hiveserver2服务是hive用户启动的,改用root用户启用即可。
  17. nohup hiveserver2 >> /opt/datasophon/hive-3.1.3/logs/hiveserver2.log 2>&1 &

6.安装dolphinscheduler 时注意事项:

参数: yarn.application.status.address 和yarn.job.history.status.address记得修改

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/455552
推荐阅读
相关标签
  

闽ICP备14008679号