devbox
Cpp五条
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

（一）部署单机Datasphere大数据平台--Datasphere

作者：Cpp五条 | 2024-05-17 02:57:57

赞

踩

datasphere

本文章还有需完善地方，请多多评论

注意：在部署Datasphere平台之前，首先要按照官网要求部署对应版本的基础环境，如果手中基础环境版本不符合，是能修改，不建议新手操作。

官网要求配置

Hadoop (2.7.2);
Hive (2.3.3);
Spark (2.4.3)
MySQL (5.5+); 
JDK (1.8.0_141以上);
Python(2.x和3.x都支持);本人使用anaconda3
Nginx

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

以上需部署的配置可参考下面网址内容
hadoop全分布式集群

注意

本平台部署的全部操作全部是在普通用户下执行，需root用户下执行命令会有提示，常见的可能不会提示！

配置环境变量

vi /etc/hosts
ip master datasphere

  • 1
  • 2

部署ldap(选装，可在后装)

yum install -y openldap openldap-clients openldap-servers migrationtools

vi /etc/openldap/slapd.d/cn=config/olcDatabase={2}hdb.ldif

    olcSuffix: dc=shds,dc=com
    olcRootDN: cn=admin,dc=shds,dc=com
    olcRootPW: root

vi /etc/openldap/slapd.d/cn=config/olcDatabase={1}monitor.ldif

	dn.base="cn=admin,dc=shds,dc=com" read by

cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap.ldap /var/lib/ldap

slaptest -u

systemctl start slapd
systemctl enable slapd

netstat -lt | grep ldap
netstat -tunlp | egrep "389|636"

cd /etc/openldap/schema/ 切换到schema目录下执行以下命令

ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f core.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f ppolicy.ldif


vi /usr/share/migrationtools/migrate_common.ph
:set number

    修改61行 $NAMINGCONTEXT{'group'} = "ou=Groups";
    修改71行 $DEFAULT_MAIL_DOMAIN = "shds.com";
    修改74行 $DEFAULT_BASE = "dc=shds,dc=com";
    修改90行 $EXTENDED_SCHEMA = 1;

cd /usr/share/migrationtools

/usr/share/migrationtools/migrate_base.pl > /home/hadoop/hadoop/base.ldif
ldapadd -x -W -D "cn=admin,dc=shds,dc=com" -f /home/hadoop/hadoop/base.ldif


useradd -d /home/hadoop/dss dss

echo 'dss' | passwd --stdin dss


getent passwd | tail -n 5 > /home/hadoop/hadoop/ldif/users

getent shadow | tail -n 5 > /home/hadoop/hadoop/ldif/shadow
getent group | tail -n 5 > /home/hadoop/hadoop/ldif/groups


cd /usr/share/migrationtools

vi migrate_passwd.pl

修改188行，把/etc/shadow换成/home/hadoop/hadoop/shadow）

/usr/share/migrationtools/migrate_passwd.pl /home/hadoop/hadoop/ldif/users > users.ldif
/usr/share/migrationtools/migrate_group.pl /home/hadoop/hadoop/ldif/groups > groups.ldif

ldapadd -x -W -D "cn=admin,dc=shds,dc=com" -f /home/hadoop/hadoop/ldif/users/users.ldif
ldapadd -x -W -D "cn=admin,dc=shds,dc=com" -f /home/hadoop/hadoop/ldif/groups/groups.ldif


开启ldap日志

find / -name slapd.conf
vi /usr/lib/tmpfiles.d/slapd.conf
loglevel        4095   

vi /etc/rsyslog.conf
local4.*                                                /var/log/ldap.log

systemctl restart rsyslog
systemctl restart slapd 

cat /var/log/ldap.log


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92

ldap操作命令

查询用户
ldapsearch -x -b "dc=shds,dc=com" -H ldap://master:389

  • 1
添加用户
vi ldap_adduser.ldif 

dn: cn=test,ou=Groups,dc=shds,dc=com
objectClass: inetOrgPerson
cn: test
sn: test
uid: test
gidNumber: 1003

ldapadd -H ldap://datasphere:389 -D "cn=admin,dc=shds,dc=com" -w root -f ldap_adduser.ldif

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
修改用户
vi modifypasswd.ldif
dn: cn=dss,ou=Groups,dc=shds,dc=com
changetype: modify
replace: userPassword
userPassword: dss

ldapmodify -a -H ldap://datasphere:389 -D "cn=admin,dc=shds,dc=com" -w root -f modifypasswd.ldif

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
删除用户
ldapdelete -x -h shanhedatasphere  -D "cn=admin,dc=shds,dc=com" -w root "cn=dss,ou=Groups,dc=shds,dc=com"

  • 1

安装anaconda3

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh 

mkdir -p /appcom/Install/

yum install -y bzip2
sh Anaconda3-2020.02-Linux-x86_64.sh

都是yes

注意:路径为DSS平台寻找本地python环境路径，若使用其他路径则需要重新编译配置文件
路径 /appcom/Install/anaconda3


配置环境变量
vi /etc/profile
    export ANACONDA_HOME=/appcom/Install/anaconda3
    export PATH=$ANACONDA_HOME/bin:$PATH
source /etc/profile

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

安装Nginx

yum -y install nginx

  • 1

部署Dss_Linkis1.1.0

数据准备
创建目录
mkdir -p /opt/dss_linkis
cp dss_linkis_one-click_install_20220620_new.zip /opt/dss_linkis
解压
unzip dss_linkis_one-click_install_20220620_new.zip

  • 1
  • 2
  • 3
  • 4
  • 5
配置config.sh
conf/config.sh

deployUser=hadoop

DSS_NGINX_IP=datasphere
DSS_WEB_PORT=8099

WORKSPACE_USER_ROOT_PATH=file:///opt/dss_linkis/tmp/workspace_linkis/
HDFS_USER_ROOT_PATH=hdfs:///tmp/hdfs_links
RESULT_SET_ROOT_PATH=hdfs:///tmp/hdfs_linkis
ENGINECONN_ROOT_PATH=/opt/datasphere/dss_linkis/appcom/tmp
ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/

HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.2/etc/hadoop
HIVE_CONF_DIR=/opt/hive/apache-hive-2.3.3-bin/conf
SPARK_CONF_DIR=/opt/spark/spark-2.4.3-bin-hadoop2.7/conf

YARN_RESTFUL_URL=http://master:8088

SPARK_VERSION=2.4.3
HIVE_VERSION=2.3.3
PYTHON_VERSION=python3

配置ldap则部署上
LDAP_URL=ldap://master:389/
LDAP_BASEDN=dc=shds,dc=com
LDAP_USER_NAME_FORMAT=cn=%s,OU=Groups,DC=shds,DC=com

把以下所有ip和端口都去掉#
LINKIS_EUREKA_INSTALL_IP=datasphere
LINKIS_EUREKA_PORT=20303

WDS_SCHEDULER_PATH=file:shds/datasphere/dss_linkis/scheduler
export SERVER_HEAP_SIZE="1024M"

EMAIL_HOST=smtp.163.com
EMAIL_PORT=25
EMAIL_USERNAME=xiayuhan0108@163.com
EMAIL_PASSWORD=wasd942984.
EMAIL_PROTOCOL=smtp

ORCHESTRATOR_FILE_PATH=/shds/datasphere/dss_linkis/tmp/dss
EXECUTION_LOG_PATH=/shds/datasphere/dss_linkis/tmp/dss

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
配置db.sh
conf/db.sh
### for DSS-Server and Eventchecker APPCONN
MYSQL_HOST=master
MYSQL_PORT=3306
MYSQL_DB=dss
MYSQL_USER=hadoop
MYSQL_PASSWORD=hadoop

#主要是配合scriptis一起使用，如果不配置，会默认尝试通过$HIVE_CONF_DIR 中的配置文件获取
HIVE_META_URL=master# HiveMeta元数据库的URL
HIVE_META_USER=hadoop   # HiveMeta元数据库的用户
HIVE_META_PASSWORD=hadoop    # HiveMeta元数据库的密码
HIVE_HOST=master
HIVE_PORT=3306
HIVE_DB=hive
HIVE_USER=hadoop
HIVE_PASSWORD=hadoop

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
安装部署
bin/install.sh

sh install.sh

  • 1
  • 2
  • 3
查看nginx配置
/etc/nginx/conf.d/dss.conf
# dss访问端口 与 config.sh文件保持一致
listen       6085;


  • 1
  • 2
  • 3
  • 4
配置数据源管理功能
linkis/conf/linkis-env.sh

export ENABLE_METADATA_MANAGER=true

  • 1
  • 2
  • 3
配置管理员登录信息
linkis/conf/linkis-mg-gateway.properties

wds.linkis.admin.user=hadoop
wds.linkis.admin.password=hadoop

  • 1
  • 2
  • 3
  • 4
启动结束
bin/
启动
sh start-all.sh
停止
sh stop-all.sh

  • 1
  • 2
  • 3
  • 4
  • 5
查看验证是否成功
访问：http://datasphere:20303

  • 1

在这里插入图片描述

登录
访问：http://datasphere:8099

  • 1

在这里插入图片描述

安装默认Appconn
dss/bin/

sh install-default-appconn.sh

  • 1
  • 2
  • 3

安装部署其他组件(待更新)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/581618
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号