datasophon组件安装时踩坑记录_datasophon 安装hdfs 失败

grant all privileges on *.* to 'root'@'%' identified by 'xxxx';

1. 安装hdfs后有一个namenode进程未启动

解决：在那个未启动的节点上执行 hdfs namenode -bootstrapStandby  之后在web页面重启hdfs

2. hive on spark 编译

hive on spark编译https://blog.csdn.net/qq_39035267/article/details/126608808之后替换datasophon节点上的hive的jar包。只替换红框中的和hive-spark-client-3.1.3等包

集成hive on spark集成hudi需要注意的点：

下载spark-without-hadoop的包。删除lib目录下 parquet相关的jar包。上传至hdfs

set spark.yarn.jars = hdfs://nameservice1/sparkjars/* ;
set hive.execution.engine =spark; 

同时替换hive的lib目录的parquet-hadoop-bundle-xx.jar

<!--配置hive on spark-->
<property>
   <name>spark.yarn.jars</name>
   <value>hdfs://nameservice1/sparkjars/*</value>
</property>
<property>
   <name>hive.execution.engine</name>
   <value>spark</value>
</property>
<property>
   <name>hive.spark.client.connect.timeout</name>
   <value>100000</value>
</property>

3. doris版本替换

下载这三个包  按照1.1.5内的格式命名  

在be和fe的bin目录加上status_be.sh或者status_fe.sh   修改service_ddl.json  然后重启

需要把udf那个jar包放在be的lib目录 重新压缩

 4. hive版本修改(spark版本一样，spark直接下载二进制包就行。hive没测试用的3.1.3)

修改/opt/datasophon-manager-1.1.1/conf/meta/DDP-1.0.0/HIVE/service_ddl.json里面的hive版本

重启命令：bin/datasophon-api.sh restart api

需要修改/opt/datasophon/datasophon-worker/script/datasophon-env.sh的hive版本(重启)

重启命令：service datasophon-worker restart

修改/etc/profile.d/datasophon-env.sh的hive版本  然后source 

5.安装kerberos以后的组件问题。

5.1 yarn重启后出现NodeManager进程没法启动的问题。原因缺少libcrypto.so.1.1这个包。

解决：

wget https://www.openssl.org/source/openssl-1.1.1g.tar.gz
tar xzf openssl-1.1.1g.tar.gz
cd openssl-1.1.1g
./config
make
sudo make install
 
 
之后编译后的文件创建软链接到 /usr/lib64目录下
 
ln -s /export/software/openssl-1.1.1g/libcrypto.so.1.1   /usr/lib64/libcrypto.so.1.1

5.2 hive on spark 没法启动

解决：

在spark-default.conf中
spark.kerberos.principal        hive/(metastore那台节点的host)@HADOOP.COM
spark.kerberos.keytab        /etc/security/keytab/hive.service.keytab   
 
也要修改hive-site.xml中的keytab为metastore的
 
 
 这两个参数的value设为空 然后分发到其他节点 重启yarn
<property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>${INSTALL_PATH}/hadoop-3.3.3/etc/hadoop/fair-scheduler.xml</value>
    </property>
 
 
原因：hive on spark的原理是通过hivemestore解析后的job通过spark提交给yarn 
 
其他节点的hiveserver2 也要配置为hive/(metastore那台节点的host)@HADOOP.COM
 
后期发现在dbeaver无法执行hive on spark 原因是：hiveserver2服务是hive用户启动的，改用root用户启用即可。
nohup hiveserver2 >> /opt/datasophon/hive-3.1.3/logs/hiveserver2.log  2>&1 &

6.安装dolphinscheduler 时注意事项：

参数： yarn.application.status.address 和yarn.job.history.status.address记得修改