Ubuntu+Docker+Centos7 数据仓库环境部署_ubuntu部署centos7的docker容器

Ubuntu+Docker+Centos7 数据仓库环境部署

https://www.yuque.com/docs/share/5ccf027d-7944-42ee-a3e1-4f479ae662cb?# 《安装问题锦集》
1

一、Docker安装

1.1 Centos Docker安装

# 镜像比较大, 需要准备一个网络稳定的环境
# 其中--mirror Aliyun代表使用阿里源
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
1
2
3

1.2 Ubuntu Docker安装【推荐】

vmwaretools安装可以实现复制：
https://blog.csdn.net/blessed_sy/article/details/81173746

更换下载源：
https://blog.csdn.net/perfect1t/article/details/81006947

编辑：
sudo gedit /etc/apt/source.list
1
2
3
4
5
6
7
8

刷新下载库源：
sudo apt-get update
1
2

获取docker：
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
1
2

ssh安装：
https://www.cnblogs.com/asyang1/p/9467646.html
1
2

ubuntu安装ssh无法获得锁
一共有三个文件，只要输入如下的命令
rm /var/lib/dpkg/lock
rm /var/lib/dpkg/lock-frontend
rm /var/cache/apt/archives/lock
即可解除占用
1
2
3
4
5
6

1.3 MacOs Docker安装

# 下载安装包, 拖动安装即可
https://hub.docker.com/editions/community/docker-ce-desktop-mac/
1
2

1.4 Windows Docker安装【不推荐】

# win10家庭版 【参考】
https://docs.docker.com/docker-for-windows/install-windows-home/

# win10专业版、商业版或教育版 【参考】
https://docs.docker.com/docker-for-windows/install/
1
2
3
4
5

二、容器准备

2.1 拉取镜像

docker pull centos:7
#修改root用户密码
sudo passwd
#更改成root用户：
su root
1
2
3
4
5

#查看镜像
docker images

REPOSITORY    TAG       IMAGE ID       CREATED         SIZE
tomcat        latest    040bdb29ab37   6 weeks ago     649MB
centos        7         8652b9f0cb4c   3 months ago    204MB
#删除镜像
docker rmi centos:7

1
2
3
4
5
6
7
8
9

2.2 创建容器

docker run -itd --privileged --name singleNode -h singleNode \
-p 2222:22 \
-p 3306:3306 \
-p 50070:50070 \
-p 8088:8088 \
-p 8080:8080 \
-p 10000:10000 \
-p 60010:60010 \
-p 9092:9092 \
centos:7 /usr/sbin/init

#注释
run：通过一个镜像运行一个容器
-i:提供一个终端，一般和t或者d连用
--privileged:设置权限，如果不设置，在容器当中启动服务时会报错
--name：给容器起名
-h:直接设置容器的主机名
-p:端口映射 左边是宿主机Ubuntu端口:右边是容器端口
centos:7 代表镜像名称
/usr/sbin/init:和 --privileged参数连用

#关闭容器
docker stop singleNode

#启动容器
docker start singleNode

#查看容器
docker ps -a
#-a:查看所有的容器，包括没有运行的容器

#删除容器
docker rmi 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

2.3 进入容器

docker start singleNode
1

docker exec -it singleNode /bin/bash
1

#使用mobax直接连容器  可以直接拖文件上传
改端口2222  
在容器里重新设置密码输入:passwd  
再重新连接
1
2
3
4

三、环境准备

3.1 安装必要软件

yum clean all
yum -y install unzip bzip2-devel vim bashname
1
2

3.2 配置SSH免密登录

yum install -y openssh openssh-server openssh-clients openssl openssl-devel 
ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' 
免密登录方式一：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 启动SSH服务
systemctl start sshd
免密登录方式二：ssh-copy-id
1
2
3
4
5
6

3.3 设置时区

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
1

3.4 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
1
2

四、MySQL安装

4.1 上传解压安装包

sudo docker cp /home/b/文档/MySQL-client-5.6.46-1.el7.x86_64. singleNode:/software
1

cd /opt/software/
tar xvf MySQL-5.5.40-1.linux2.6.x86_64.rpm-bundle.tar
1
2

4.2 安装必要依赖

yum -y install libaio perl
1

4.3 安装服务端和客户端

rpm -ivh MySQL-server-5.5.40-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.40-1.linux2.6.x86_64.rpm 
1
2

4.4 启动并配置MySQL

systemctl start mysql
/usr/bin/mysqladmin -u root password 'root'
mysql -uroot -proot 
> update mysql.user set host='%' where host='localhost';
> delete from mysql.user where host<>'%' or user='';
> flush privileges;
1
2
3
4
5
6

五、安装JDK

5.1 上传并解压

tar zxvf /opt/software/jdk-8u171-linux-x64.tar.gz -C /opt/install/
ln -s /opt/install/jdk1.8.0_171 /opt/install/java
1
2

5.2 配置环境变量

vi /etc/profile
-------------------------------------------
export JAVA_HOME=/opt/install/java
export PATH=$JAVA_HOME/bin:$PATH
-------------------------------------------
1
2
3
4
5

Docker容器中解决重启配置不生效（source /etc/profile）
问题描述：docker在使用过程中，有时候自定义容器实例中的某些配置文件，例如：/etc/profile，但是修改后，每一次启动都需要手动 source 一遍令它重新生效，这很繁琐。

解决方法：在容器实例中 ~/.bashrc 配置文件末尾添加 source /etc/profile，保存退出即可。这样就能够实现重启后自动刷新配置文件，而无需手动操作。
1
2
3
4

5.3 查看版本

java -version
1

六、Hadoop安装

6.1 上传并解压

tar zxvf /opt/hadoop-2.6.0-cdh5.14.2.tar_2.gz -C /opt/
ln -s /opt/install/hadoop-2.6.0-cdh5.14.2 /opt/install/hadoop
1
2

6.2 修改配置

# 进入路径
cd /opt/hadoop/etc/hadoop/
1
2

6.2.1 配置core-site.xml

vi core-site.xml
-------------------------------------------
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://singleNode:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/install/hadoop/data/tmp</value>
  </property>
</configuration>
-------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
13

6.2.2 配置hdfs-site.xml

vi hdfs-site.xml
-------------------------------------------
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
-------------------------------------------
1
2
3
4
5
6
7
8
9

6.2.3 配置mapred-site.xml

vi mapred-site.xml
-------------------------------------------
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>singleNode:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>singleNode:19888</value>
  </property>
</configuration>
-------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

6.2.4 配置yarn-site.xml

vi yarn-site.xml
-------------------------------------------
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>singleNode</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>
-------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

6.2.5 配置hadoop-env.sh

vi hadoop-env.sh
-------------------------------------------
export JAVA_HOME=/opt/java8
-------------------------------------------
1
2
3
4

6.2.6 配置mapred-env.sh

vi mapred-env.sh
-------------------------------------------
export JAVA_HOME=/opt/java8
-------------------------------------------
1
2
3
4

6.2.7 配置yarn-env.sh

vi yarn-env.sh
-------------------------------------------
export JAVA_HOME=/opt/java8
-------------------------------------------
1
2
3
4

6.2.8 配置slaves

vi slaves
-------------------------------------------
singleNode
-------------------------------------------
1
2
3
4

6.3 添加环境变量

export HADOOP_HOME=/opt/install/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
1
2
3

6.4 HDFS格式化

hdfs namenode -format
1

6.5 启动Hadoop服务

$HADOOP_HOME/sbin/start-all.sh
1

6.6 Web端查看

查看50070端口

查看8088端口

七、Hive安装

7.1 上传并解压

tar zxvf /software/hive-1.1.0-cdh5.14.2.tar.gz -C /opt/
ln -s /opt/install/hive-1.1.0-cdh5.14.2 /opt/install/hive
1
2

7.2 修改配置

# 进入路径
cd /opt/hive110/conf/
1
2

7.2.1 修改hive-site.xml

vi hive-site.xml
-------------------------------------------
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/home/hadoop/hive/warehouse</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://singleNode:3306/hive?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	<property>
		<name>hive.exec.scratchdir</name>
		<value>/home/hadoop/hive/data/hive-${user.name}</value>
		<description>Scratch space for Hive jobs</description>
	</property>

	<property>
		<name>hive.exec.local.scratchdir</name>
		<value>/home/hadoop/hive/data/${user.name}</value>
		<description>Local scratch space for Hive jobs</description>
	</property>
</configuration>
-------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

7.2.2 修改hive-env.sh

vi hive-env.sh
-------------------------------------------
HADOOP_HOME=/opt/hadoop260
-------------------------------------------
1
2
3
4

7.3 添加依赖包

cp /software/mysql-connector-java-5.1.31.jar /opt/hive110/lib/
1

7.4 添加环境变量

export HIVE_HOME=/opt/hive110
export PATH=$HIVE_HOME/bin:$PATH
1
2

7.5 启动服务

nohup hive --service metastore &
nohup hive --service hiveserver2 &
1
2

7.6 Jps查看

八、Sqoop安装

8.1 上传并解压

tar zxvf /software/sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/sqoop
ln -s /opt/install/sqoop-1.4.6-cdh5.14.2 /opt/install/sqoop
1
2

8.2 修改sqoop-env.sh

cd /opt/install/sqoop/conf/
vi sqoop-env.sh
-------------------------------------------
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/hadoop260

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/hadoop260

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/hive110
-------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12

8.3 添加依赖包

cp /software/mysql-connector-java-5.1.31.jar /opt/sqoop/lib/
cp /software/java-json.jar /opt/sqoop/lib/
1
2

8.4 添加环境变量

export SQOOP_HOME=/opt/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
1
2

8.5 查看版本

sqoop version
1

Q&A

1.如果要是在docker搭建集群怎么搭建，创建不同的docker容器?
网络ip地址分配问题
#方案一：
#创建一个network
docker network create hadoopcluster
#查看network
docker network ls  
#在创建容器时指定network
docker run -it --network hadoopcluster --name hadoop1 -h hadoop1 #其他设置，端口啥的
docker run -it --network hadoopcluster --name hadoop2 -h hadoop2
docker run -it --network hadoopcluster --name hadoop3 -h hadoop3

#方案二：
使用另一个工具：docker-compose
1
2
3
4
5
6
7
8
9
10
11
12
13
14