大数据管理平台DataSophon-1.1.1安装部署详细流程

1 DataSophon介绍

1.1 DataSophon愿景

DataSophon致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

1.2 DataSophon是什么

《三体》，这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知，其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平
作为三体中非常重要的角色，智子(Sophon)是将九维的质子进行二维展开，通过电路蚀刻改造成超级计算机后，再转回到微观的十一维来监控人类的一举一动，并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。

DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务

1.3 DataSophon主要特性

① 快速部署,可快速完成300个节点的大数据集群部署
② 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
③ 监控指标全面丰富，基于生产实践展示用户最关心的监控指标
④ 灵活便捷的告警服务，可实现用户自定义告警组和告警指标
⑤ 可扩展性强，用户可通过配置的方式集成或升级大数据组件

1.4 整体架构

1.5 集成组件

各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。

2 环境准备

2.0 DataSophon安装包

链接：https://pan.baidu.com/s/1QWTMadCGLiAL-XqeS6AygQ 
提取码：2gd2 
1
2

选择需要安装的DataSophon版本，并选择对应的datasophon-manager版本。本文以最新的DataSophon-1.1.1版本为例。

2.1 网络要求

要求各机器各组件正常运行提供如下的网络端口配置：

注：
① DDHApplicationServer为API接口层即web后端，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。
② WorkerApplicationServer负责执行DDHApplicationServer发送的指令，包括服务安装、启动、停止、重启等指令。

2.2 配置hosts

大数据集群所有机器需配置主机host。

配置主机名： hostnamectl set-hostname 主机名

配置/etc/hosts文件

2.3 关闭防火墙

2.4 集群免密

部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。

配置免密

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
1
2
3

集群之间完成免密

ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机
1

2.5 环境要求

Jdk环境需安装。建议mysql版本为5.7.X，并关闭ssl。

2.6 创建目录

mkdir -p /opt/datasophon/DDP/packages
1

将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。
注：需要将默认安装包建立在这个目录下，否则会报找不到目录错，如下：

3 部署

3.1 部署mysql

注意需关闭mysql ssl功能。在部署过程中，部分组件会执行sql生成库表，不同环境的mysql在配置上存在差异，可根据sql执行情况，变更mysql配置。

3.1.1 关闭ssl

#使用如下命令查看ssl是否关闭，如果have_ssl的值为YES，说明SSL已经开启
SHOW VARIABLES LIKE '%ssl%';
1
2

修改配置文件my.cnf，在MySQL的配置文件my.cnf中加入以下内容：

#disable_ssl
skip_ssl
1
2

这个配置的作用是告诉MySQL不要使用SSL协议。在修改配置文件之前，最好备份一下，以免出错后无法恢复。

重启mysql服务
修改了my.cnf文件之后，需要重启MySQL才能使修改生效。可以使用以下命令重启MySQL：

service mysqld restart
1

再次查看，可以发现此时have_ssl值为DISABLED

3.1.2 执行初始化脚本

执行如下数据库脚本：

CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to datasophon@"%" identified by 'datasophon' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'datasophon'@'%';
FLUSH PRIVILEGES;
1
2
3
4

执行datasophon-manager安装目录sql目录下datasophon.sql，创建数据表。

source datasophon.sql
1

3.2 解压

在安装目录下解压datasophon-manager-{version}.tar.gz，解压后可以看到如下安装目录：

tar -zxvf datasophon-manager-1.1.1.tar.gz
1

bin：启动脚本git

conf ：配置文件

lib ：项目依赖的jar包

logs:项目日志存放目录

jmx：jmx插件

3.3 安装并配置nginx

注：1.1.1之前的版本需要执行该步操作，需要配置nginx。1.1.1及以后版本可以跳过该步骤

3.3.1 安装依赖包

yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel
1

3.3.2 下载并解压

#创建一个文件夹
cd /usr/local
mkdir nginx
cd nginx
#下载tar包
wget http://nginx.org/download/nginx-1.13.7.tar.gz
tar -xvf nginx-1.13.7.tar.gz
1
2
3
4
5
6
7

3.3.3 安装nginx

#进入nginx目录
cd /usr/local/nginx/nginx-1.13.7
#执行命令 考虑到后续安装ssl证书 添加两个模块
./configure --with-http_stub_status_module --with-http_ssl_module
#执行make命令
make
#执行make install命令
make install
1
2
3
4
5
6
7
8

3.3.4 启动nginx服务

 ​​​​​​​/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
1

看到如下页面说明nginx安装成功

3.3.5配置nginx.conf

# 打开配置文件
vim /usr/local/nginx/conf/nginx.conf
1
2

注意：这里需要获取前端配置包dist.zip并解压

新增配置

server {
                listen 8888;# 访问端口(自行修改)
                server_name localhost;
                #charset koi8-r;
                #access_log /var/log/nginx/host.access.log main;
                location / {
                        root /usr/local/nginx/dist; # 前端解压的 dist 目录地址(自行修改)
                        index index.html index.html;
                }
                location /ddh {
                        proxy_pass http://doris-1:8081; # 接口地址(自行修改)
                        proxy_set_header Host $host;
                        proxy_set_header X-Real-IP $remote_addr;
                        proxy_set_header x_real_ipP $remote_addr;
                        proxy_set_header remote_addr $remote_addr;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_http_version 1.1;
                        proxy_connect_timeout 4s;
                        proxy_read_timeout 30s;
                        proxy_send_timeout 12s;
                        proxy_set_header Upgrade $http_upgrade;
                        proxy_set_header Connection "upgrade";
                }
 
                #error_page 404 /404.html;
                # redirect server error pages to the static page /50x.html
                #
                error_page 500 502 503 504 /50x.html;
                location = /50x.html {
                        root /usr/share/nginx/html;
                }
        }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

3.3.6 重启nginx

/usr/local/nginx/sbin  -s reload
1

3.4 修改配置

修改 conf 目录下的application.yml 配置文件中数据库链接配置：

spring:
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    url: jdbc:mysql:192.168.5.189:3306/datasophon?useUnicode=true&characterEncoding=utf-8
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver
1
2
3
4
5
6
7

3.4 启动服务

#启动
sh bin/datasophon-api.sh start api
#停止
sh bin/datasophon-api.sh stop api
#重启
sh bin/datasophon-api.sh restart api
1
2
3
4
5
6

部署成功后，可以进行日志查看，日志统一存放于logs文件夹内:

logs/

├── ddh-api.log

├── ddh-api-error.log

|—— api-{hostname}.out

3.5 访问页面

访问前端页面地址,接口ip(自行修改) [http://192.168.xx.xx:8081/ddh，默认用户名和密码为admin/admin123

4 创建集群

登录进入系统页面后在集群管理页面创建集群，DataSophon支持多集群管理和授予用户集群管理员权限

点击【创建集群】，输入集群名称，集群编码（集群唯一标识），集群框架。

创建成功后点击【配置集群】：
根据提示，输入主机列表（注意：主机名需与在准备环境中hostnamectl set-hostname 设置的主机名一致），ssh用户名默认为root和ssh端口默认为22。

配置完成后，点击【下一步】，系统开始链接主机并进行主机环境校验。

主机环境校验成功后点击【下一步】，主机agent分发步骤将自动分发datasophon-worker组件，并启动WorkerApplicationServer。

主机管理Agent分发完成后，点击【下一步】，开始部署服务。
初始化配置集群先选择部署AlertManager,Grafana和Prometheus三个组件。

点击【下一步】，分配AlertManager,Grafana和Prometheus服务的master服务角色部署节点，此三个组件需部署在同一台机器上。

点击【下一步】，分配AlertManager,Grafana和Prometheus服务的worker与client服务角色部署节点，没有worker和client服务角色的可以跳过之间点击【下一步】。

修改各服务配置。系统已给出默认配置，大部分情况下无需修改。

点击【下一步】开始服务安装，可实时查看服务安装进度。

点击【完成】，在集群管理页面点击【进入】，即可进入集群服务组件管理页面。

5 添加服务

5.1 安装ZK

选择添加服务，选择zk

分配ZooKeeper master服务角色部署节点，zk需部3台或5台。

Zk没有worker与client服务角色，直接点击【下一步】跳过。

根据实际情况修改Zk服务配置。

点击【下一步】，进行zk服务安装

安装成功后即可查看Zookeeper服务总览页面。

5.2 安装HDFS

部署HDFS，其中JournalNode需部署三台，NameNode部署两台，ZKFC和NameNode部署在相同机器上。如下图

点击【下一步】，选择DataNode部署节点。

根据实际情况修改配置，例如修改DataNode数据存储目录。

点击【下一步】，开始安装Hdfs。

安装成功后，即可查看HDFS服务总览页面。

5.3 添加Yarn服务

部署YARN，其中ResourceManager需部署两台作高可用。如下图：

点击【下一步】，选择NodeManager部署节点。

根据实际情况修改配置。

等待安装完成

安装成功后，即可查看YARN服务总览页面

5.4 添加hive服务

5.4.1 准备工作

1）在数据库中创建Hive数据库。

CREATE DATABASE IF NOT EXISTS hive DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to hive@"%" identified by 'hive' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
1
2
3
4

5.4.2 安装hive

选择需要安装hiveserver2和metastore角色的节点

选择需要安装hiveclient角色的节点

根据实际情况修改配置

等待安装完成，安装成功后即可查看YARN服务总览页面

5.5 安装dolphinscheduler服务

5.5.1 准备工作

1）初始化DolphinScheduler数据库。

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
flush privileges;
1
2
3
4

2）执行/opt/datasophon/DDP/packages目录下dolphinscheduler_mysql.sql创建dolphinscheduler数据库表

5.5.2 安装dolphinscheduler

添加dolphinscheduler服务

分配api-server/alert-server/master-server/worker-server角色

根据实际情况，修改DolphinScheduler配置。

开始安装DolphinScheduler，安装成功后可以看到DolphinScheduler总览页面

可以通过WebUi打开DolphinScheduler页面.

5.6 添加trino

点击【添加服务】，选择Trino。

选择TrinoCoordinator。

选择TrinoWorker。注意：TrinoCoordinator和TrinoWorker不要部署在同一台机器上。

注意"Trino最大堆内存"，"每个查询在单个节点可使用最大内存"这两个配置，其中"每个查询在单个节点可使用最大内存"不可超过"Trino最大堆内存"的80%，“总共可使用最大内存"为"每个查询在单个节点可使用最大内存”* TrinoWorker数.

点击【下一步】，开始安装Trino。等待安装完成，可以看到Trino总览页面

选择trino的webui，可以访问trino的连接

5.7 添加doris服务

点击【添加服务】，选择Doris。

分配FE服务角色部署节点。

分配BE服务角色部署节点。

根据需要修改Doris配置，其中FE优先网段和BE优先网段需要配置，如配置成172.31.86.0/24

点击【下一步】，开始安装Doris。

5.8 安装kafka

选择安装kafka服务broker角色的节点

根据实际情况调整Kafka参数。

Kafka安装成功后，即可在Kakfa服务总览页查看Kafka详情。

5.9 安装ranger

创建ranger数据库

CREATE DATABASE IF NOT EXISTS ranger DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to ranger@"%" identified by 'ranger' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';
FLUSH PRIVILEGES;
1
2
3
4

点击【添加服务】，选择Ranger。
选择RangerAdmin部署节点。

输入数据库root用户密码，数据库地址，Ranger数据用户密码等配置信息。

安装成功后，即可在Kakfa服务总览页查看Ranger详情。

5.10 安装StreamPark

初始化StreamPark数据库。

CREATE DATABASE streampark DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'%' IDENTIFIED BY 'streampark';
GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'localhost' IDENTIFIED BY 'streampark';
flush privileges;
1
2
3
4

执行/opt/datasophon/DDP/packages目录下streampark.sql创建streampark数据库表。

use streampark;
source /opt/datasophon/DDP/packages/streampark.sql
1
2

分配streampark角色

根据实际情况修改配置。

安装成功后可查看StreamPark总览页面，可通过WebUi跳转到StreamPark用户页面。

还有其他组件，如spark/flink/hbase/elasticsearch等，这里就不再一一例举安装了，感兴趣的小伙伴可以自己上手试一试。

6 多集群部署

DataSophon支持部署和管理集群，在管理页面点击创建新的集群，输入集群id等信息

部署其他集群的节点同样需要上述2.1-2.5的环境准备。

6.1 扫描节点和分发安装包

输入需要安装集群的节点ip

分发worker安装包

6.2 选择需要安装的服务

6.3 分配角色

6.4 确认服务配置参数

6.5 安装服务

6.6 进入集群2

安装成功之后，进入集群2查看总览页面

6.7 集群2中添加服务

在集群2中添加zk/kafka/doris服务
zk页面总览

kafka页面总览

doris页面总览

6.8 集群间切换

可以选择不同的集群id，查看对应不同集群的节点信息、组件安装信息、告警信息等

不同集群安装的服务和节点均可不一致：

集群1主机管理

集群2主机管理