华为云-鲲鹏集群-大数据环境搭建_fs.obs.buffer

本环境搭建是在，可参考

华为云——数字中国创新大赛·鲲鹏赛道·天府赛区暨四川鲲鹏应用开发者大赛

1 环境搭建准备

本文详细描述了在华为云鲲鹏生态下的 BigData Pro 解决方案实验手段， 涵盖集群搭建
及验证， 本指导手册所涉及的大数据组件版本如下所示

各节点主机名

1.1修改完毕后，效果如下(以node1为例):

1.2增加 ip 及节点的映射关系，且确保 ip 为内网 ip

vi /etc/hosts
1

修改完毕后，效果如下(以node1为例):

1.3关闭各节点防火墙

systemctl stop firewalld
systemctl disable firewalld
1
2

1.4节点之间建立互信

ssh-keygen -t rsa
ssh-copy-id root@node1
ssh-copy-id root@node2
ssh-copy-id root@node3
ssh-copy-id root@node4
1
2
3
4
5

验证是否互连（以node1为例）

1.5将数据盘挂载到/home 目录

1、各节点均需要执行如下命令，对一台节点挂载目录的手段如下:

fdisk /dev/vdb
1

2、输入 n 后连续回车到 Command (m for help):命令行， 输入 w自动退出命令行

partprobe
mkfs -t ext4 /dev/vdb1
1
2

3、将/dve/vdb1挂载到/home目录

mount /dev/vdb1 /home
1

4、查看/home/目录已经挂载成功

df -h 
1

5、查看/dev/vdb1 的 UUID

blkid 
1

6、设置开机自动挂载，执行 vi /etc/fstab 后， 按照步骤 6 查询到的 UUID， 添加

UUID=查询到的 UUID /home ext4 defaults 1 1
1

1.6同步服务器时间

因为我们使用的是华为云容器引擎，鲲鹏集群时间已经同步
下面是检查过程，通过Xshell工具，同时输入命令date，各节点结果一致

1.7创建必要目录

各节点执行如下命令

mkdir -p /home/modules/data/buf/
mkdir -p /home/test_tools/
mkdir -p /home/nm/localdir
1
2
3

1.8下载软件包

1、在node1节点，进入/home目录下载软件包至/home目录，然后进行解压(下载链接仅本次实验时间内有效)

wget https://big-data-pro-test.obs.cn-east-3.myhuaweicloud.com/arm_bigdata_suite.tar.gz
1

2、进入/home/arm_bigdata_suite 中使 用 如 下 命 令 下 载 CentOS-7-aarch64-Everything-1908.iso 软 件 包(下载链接仅本次实验时间内有效)

wget http://mirrors.huaweicloud.com/centos-altarch/7.7.1908/isos/aarch64/CentOS-7-aarch64-Everything-1908.iso
1

软件列表如下图

1.9安装 openjdk

1、解压openjdk至 /usr/lib/jvm/目录

tar zxvf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz -C /usr/lib/jvm
1

2、修改环境变量vim /etc/profile ，添加JDK路径

export JAVA_HOME=/usr/lib/jvm/jdk8u191-b12
1

3、同步至各节点并使其生效验证

scp -r /usr/lib/jvm/jdk8u191-b12/ 主机名:/usr/lib/jvm
source /etc/profile
java -version
1
2
3

1.10配置 yum 源

1、在 node1， 执行如下命令后，执行 df -h 确认/media 目录已经成功挂载

mount -o loop /home/arm_bigdata_suite/CentOS-7-aarch64-Everything-1908.iso/media/

df -h
1
2
3

2、在node1， 执行

mv /etc/yum.repos.d/* /tmp/
1

3、在node1， 执行 vi /etc/yum.repos.d/local.repo 将如下内容保存到本文件中

[local]
name=local
baseurl=file:///media
enabled=1
gpgcheck=0
1
2
3
4
5

4、在node1， 执行如下命令

yum clean all
yum makecache
yum list | grep libaio
yum list |grep mysql-connector-java
1
2
3
4

显示如下，则代表 yum 源配置完毕

1.11准备 OBS 桶及访问信息

本次搭建过程中需要使用到如下资源， 需提前准备好

2 Hadoop 集群部署

2.1在 node1 上准备 hadoop 组件

1、在 node1 节点上执行如下命令， 解压 hadoop 软件包

cp /home/arm_bigdata_suite/hadoop-2.8.3.tar.gz /home/modules/
cd /home/modules/
tar zxvf hadoop-2.8.3.tar.gz
1
2
3

执行完毕后，可查看到如下目录：

2、进入hadoop配置目录

cd /home/modules/hadoop-2.8.3/etc/hadoop
1

3、配置hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}替换为：

export JAVA_HOME=/usr/lib/jvm/jdk8u191-b12
1

4、配置core-site.xml

fs.obs.access.key、 fs.obs.secret.key、 fs.obs.endpoint 需根据obs桶进行修改

<configuration>
<property>
<name>fs.obs.readahead.inputstream.enabled</name>
<value>true</value>
</property>
<property>
<name>fs.obs.buffer.max.range</name>
<value>6291456</value>
</property>
<property>
<name>fs.obs.buffer.part.size</name>
<value>2097152</value>
</property>
<property>
<name>fs.obs.threads.read.core</name>
<value>500</value>
</property>
<property>
<name>fs.obs.threads.read.max</name>
<value>1000</value>
</property>
<property>
<name>fs.obs.write.buffer.size</name>
<value>8192</value>
</property>
<property>
<name>fs.obs.read.buffer.size</name>
<value>8192</value>
</property>
<property>
<name>fs.obs.connection.maximum</name>
<value>1000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/modules/hadoop-2.8.3/tmp</value>
</property>
<property>
<name>fs.obs.access.key</name>
<value>RSM2WMT03R38ZLY2TCOL</value>
</property>
<property>
<name>fs.obs.secret.key</name>
<value>KaP5ajgg8FGvRP6Sy2QX7UUO4sXFFisuPoCuseB8</value>
</property>
<property>
<name>fs.obs.endpoint</name>
<value>obs.cn-north-4.myhuaweicloud.com:5080</value>
</property>
<property>
<name>fs.obs.buffer.dir</name>
<value>/home/modules/data/buf</value>
</property>
<property>
<name>fs.obs.impl</name>
<value>org.apache.hadoop.fs.obs.OBSFileSystem</value>
</property>
<property>
<name>fs.obs.connection.ssl.enabled</name>
<value>false</value>
</property>
<property>
<name>fs.obs.fast.upload</name>
<value>true</value>
</property>
<property>
<name>fs.obs.socket.send.buffer</name>
<value>65536</value>
</property>
<property>
<name>fs.obs.socket.recv.buffer</name>
<value>65536</value>
</property>
<property>
<name>fs.obs.max.total.tasks</name>
<value>20</value>
</property>
<property>
<name>fs.obs.threads.max</name>
<value>20</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86

5、配置hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<valu
1
2
3