Centos 7 minal 搭建hadoop+zookeeper+hbase 伪分布式环境_hadoopmianmi

系统版本：

centos 7 x86_64 minal

软件版本：

hbase 2.0.5

http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz

zookeeper 3.4.14

http://apache.fayea.com/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

hadoop 2.7.7

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

jdk 1.8.211

oracle 官网

#搭建配置顺序：
 
#jdk
 
#zookeeper
 
#hadoop
 
#hbase
 
#说明：以下操作全部都用普通管理员账户：hadoop  不建议使用root
 
#1.先创建几个目录来存放我们的软件：
 
sudo mkdir /opt/java
 
sudo mkdir /opt/hadoop
 
sudo mkdir /opt/hbase
 
sudo mkdir /opt/zookeeper
 
#2.解压jdk 压缩包：
 
sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/java/
 
#3.配置java环境变量（全局的）：
export JAVA_HOME=/opt/java/jdk1.8.0_211
export JRE_HOME=/$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
 
#4.环境变量立即生效：
 
source /etc/profile
 
#5.检查java环境： java -version && javac -version
 
#6.centos 7 的免密登陆：
 
ssh-keygen -t rsa  #生成密匙
 
ssh-copy-id localhost  #给本机免密
 
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.1.20 #给其他节点免密  我这里只是搭建一个单机环境
 
#此步骤很关键，如果不做使用密匙登陆，hadoop服务启动不起来，会提示权限阻止
 
#6.修改主机名称，做ip映射（如果是集团网，很多节点建议使用内网dns服务器解析）：
sudo vim /etc/hosts
 
127.0.0.1  hadoop-master
192.168.1.10 hadoop-master  #这里我的内网ip是192.168.1.10
 
sudo vim /etc/hostname
 
hadoop-master #主机名
 
#7.防火墙设置，网上很多教程直接让你关闭防火墙或者禁用防火墙，其实这种方式不是非常建议，这将把你的主机完全暴露，如果是公网很容易被扫，建议需要使用哪些端口就开放哪些端口，对于防火墙的精细配置，请参考：https://www.linuxidc.com/Linux/2018-11/155155.htm
#这里为了简单一点 我就直接关闭防火墙和selinux
sudo systemctl disable firewalld
 
sudo vim /etc/selinux/config
 
SELINUX=disabled
 
 
 
#此时建议重启系统，reboot / init 6 / shutdown -r now
 
#这里主要做了一些准备工作，创建需要的文件目录、java环境搭建、密匙登陆、修改主机名和ip映射、防火墙设置
 
 

接下来，我们搭建zookeeper的环境：

#1.解压zookeeper压缩包：
 
sudo tar -zxf zookeeper-3.4.14.tar.gz -C /opt/zookeeper/
 
#2.配置环境变量：
 
export ZOOKEEPER_HOME=/opt/zookeeper/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin
 
#让环境变量立即生效 
source /etc/profile
 
#修改目录所有者：
 
sudo chown hadoop:hadoop zookeeper-3.4.14
 
#3.复制配置文件模板并修改：
 
sudo cp /opt/zookeeper/zookeeper-3.4.14/conf/zoo_sample.cfg /opt/zookeeper/zookeeper-3.4.14/conf/zoo.cfg
 
sudo vim /opt/zookeeper/zookeeper-3.4.14/conf/zoo.cfg
 
dataDir=/opt/zookeeper/zookeeper-3.4.14/data
dataLogDir=/opt/zookeeper/zookeeper-3.4.14/logs
#此行在最后添加 1是myid
server.1=hadoop-master:2888:3888
 
#这里需要创建一些目录和文件：
 
mkdir /opt/zookeeper/zookeeper-3.4.14/data #存放数据
mkdir /opt/zookeeper/zookeeper-3.4.14/logs #存放日志
 
echo 1 > /opt/zookeeper/zookeeper-3.4.14/data/myid #标识id 唯一性 这里如果是多个节点 其他节点就需要改这个值
 
#4.启动zookeeper：
 
zkServer.sh start
 
zkServer.sh status  #查看状态 我这里是单个节点 
 
#Mode: standalone 
 
#如果你的状态里面存在not error之类的就需要注意了
 
#5.检查进程：
jps
 
#此时在应该有两个进程 Jps本身和QuorumPeerMain
 

接着，我们搭建hadoop环境：

#1.解压hadoop压缩包：
 
sudo tar -zxf hadoop-2.7.7.tar.gz -C /opt/hadoop/
 
#2.配置环境变量：
 
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
 
#修改目录所有者：
sudo chown hadoop:hadoop /opt/hadoop/hadoop-2.7.7
 
#3.修改配置文件， 这里需要修改的文件比较多，需要注意：
 
cd /opt/hadoop/hadoop-2.7.7/etc/hadoop
 
#第一个文件
sudo vim hadoop-env.sh
#设置java的环境
export JAVA_HOME=/opt/java/jdk1.8.0_211
 
#第二个文件
sudo vim core-site.xml
 
<property>
    <!--默认文件系统-->
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop-master:9000</value>
</property>
<property>
    <!--数据目录-->
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/data</value>
</property>
 
#第三个文件
sudo vim hdfs-site.xml
 
<property>
    <!--集群节点-->
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <!--数据节点-->
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/datanode</value>
    <final>true</final>
</property>
<property>
    <!--命名空间节点-->
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/namenode</value>
    <final>true</final>
</property>
<property>
    <!--绑定地址， 不设置默认是9870-->
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
</property>
 
#第四个文件
sudo vim yarn-site.xml
 
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
 
#第五个文件
sudo vim mapred-site.xml
 
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
 
#这些都是一些比较简单的配置，其他更详细的配置内容，请访问官方文档
 
#4.格式化文件系统：
hdfs namenode –format
 
start-all.sh  #启动hadoop
 
#5.检查hadoop是否正常运行：
jps
 
#此时此刻，正常的应该多出来了NodeManager、NameNode、DataNode、ResourceManager、SecondaryNameNode几个进程，也可以通过浏览器访问ip:50070 查看到信息，这里注意要使用谷歌或者火狐浏览器，不然ajax的兼容性问题，会出现采集不到数据
 

最后， 配置hbase环境：

#1.解压hbase压缩包：
sudo tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/hbase/
 
#2.配置环境变量：
 
export HBASE_HOME=/opt/hbase/hbase-2.0.5
export PATH=$PATH:$HBASE_HOME/bin
 
#修改目录所有者：
 sudo chown hadoop:hadoop /opt/hbase/hbase-2.0.5
 
#3.修改配置文件：
 
cd /opt/hbase/hbase-2.0.5/conf
 
#第一个文件
sudo vim hbase-env.sh
 
export JAVA_HOME=/opt/java/jdk1.8.0_211
export HBASE_CLASSPATH=/opt/hadoop/hadoop-2.7.7/etc/hadoop
export HBASE_MANAGES_ZK=false
 
#第二个文件
sudo vim hbase-site.xml
 
<property> 
    <name>hbase.rootdir</name> 
    <value>hdfs://hadoop-master:9000/hbase</value> 
</property> 
 
<property> 
    <name>hbase.cluster.distributed</name> 
    <value>false</value> 
</property> 
 
<property> 
    <name>hbase.zookeeper.quorum</name> 
    <value>hadoop-master</value> 
</property> 
 
<property> 
    <name>hbase.zookeeper.property.dataDir</name> 
    <value>/opt/zookeeper/zookeeper-3.4.14/data</value> 
</property> 
<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>
 
#第三个文件
sudo vim regionservers
hadoop-master
 
#4.启动：start-hbase.sh
 
#需要注意的是启动会提醒日志包jar重复这个并不影响使用，可以不管
 
#5.检查：jps
 
#正常启动 此时会多出来HMaster HRegionServer 两个进程
 
 
 
 

至此，就搭建完成！