赞
踩
Hadoop是一个开发和运行处理大规模数据的平台,实现在多台计算机组成的集群中对海量数据进行分布式计算。
hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储,mapreduce提供了对数据的计算。
hadoop处理海量数据,需要hbase做数据库,hbase是面向列的分布式数据库,使用集群环境的内存做处理,但是不支持sql语句,所以操作和计算数据非常不方便,于是整合hive,hive支持sql语句,让hive支撑在hbase数据库层面的查询。
hadoop使用主/从(master/slave)架构,主要由NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker组成。
其中,NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。
NameNode:HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。
DataNode:集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时,由NameNode告诉客户端去哪个DataNode进行具体的读写操作。
secondary NameNode:用来监控HDFS状态的辅助后台程序,如果NameNode发生问题,可以使用Secondary NameNode作为备用的NameNode。
JobTracker:用来连接应用程序与Hadoop,用户应用提交到集群后,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker会自动开启这个task。
TaskTracker:负责存储数据的DataNode相结合,位于从节点,负责各自的task。
4台独立的主机
一台为master,其余3台为slave。
操作系统均为CentOS 5.8,jdk均安装同个版本同个目录,配置好/etc/profile。
为避免权限问题导致无法使用,以下操作均使用了root账号操作。如果是其他账号操作,要确保同个账号对每台主机相同目录的操作权限一致。
在master上依次操作:
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys
然后将 id_rsa.pub authorized_keys id_rsa,拷到其它机器上,注意文件的权限与目录的权限:
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
XXX.XXx.XXx.XX master
XXX.XXx.XXx.XX slave2
XXX.XXx.XXx.XX slave1
XXX.XXx.XXx.XX slave3
如master节点,打开/etc/sysconfig/network:
NETWORKING=yes
HOSTNAME=master
其他从节点的hostname分布配置成对应的slave1、slave2、slave3
如hadoop存放目录为/home/hadoop2,将hadoop安装到该目录下。具体配置如下:
export HADOOP_HOME=/home/hadoop2/hadoop-2.5.0-cdh5.3.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
配置文件所在目录为/home/hadoop2/hadoop-2.5.0-cdh5.3.2/etc/hadoop
a、配置core-site.xml
b、配置hdfs-site.xml
c、配置yarn-site.xml
d、配置mapred-site.xml
e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh脚本,修改每个脚本的JAVA_HOME为当前系统的JAVA_HOME
f、修改slaves文件
在master将上面配好的文件复制到各个节点对应的目录:
scp -r /home/hadoop2 root@slave1:/home/hadoop2/
scp -r /home/hadoop2 root@slave2:/home/hadoop2/
scp -r /home/hadoop2 root@slave3:/home/hadoop2/
service iptables stop
hadoop namenode -format
hadoop datanode -format
start-dfs.sh
可以访问http://master:50070,查看hdfs集群状态
start-yarn.sh
可以访问http://master:8099,查看yarn集群状态
也可以直接使用start-all.sh脚本启动,该脚本包含了hdfs和yarn两个集群的启动。
在master上操作,将hbase安装到/home/hadoop2目录下。
配置文件所在目录为/home/hadoop2/hbase-1.0.0-cdh5.4.8/conf
a、配置hbase-site.xml
b、配置hbase-env.sh脚本,修改脚本的JAVA_HOME为当前系统的JAVA_HOME
c、配置regionservers
在master将上面配好的文件复制到各个节点对应的目录:
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave1:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave2:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave3:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8
export PATH=$PATH:$HBASE_HOME/bin
start-hbase.sh
在master上操作,将hive安装到/home/hadoop2目录下。
配置文件所在目录为/home/hadoop2/hive-0.13.1-cdh5.3.2/conf
a、配置hive-site.xml
b、配置hive-env.sh脚本
export HIVE_HOME=/oracle/hadoop2/hive-0.13.1-cdh5.3.2
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
进入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin
nohup hiveserver2 &
以上,一个可以运行的环境就安装好了,可以在hive和hbase中创建自己需要的数据。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。