笔触狂放9

这个屌丝很懒，什么也没留下！

热门标签

第三部分-Hadoop使用和Hbase使用_hadoop dfsadmin -safemode leave

作者：笔触狂放9 | 2024-06-08 16:14:07

踩

hadoop dfsadmin -safemode leave

第三部分：Hadoop使用和Hbase使用

一、实验目的和要求

理解Hadoop和Hbase的工作原理，安装部署HBase，掌握HDFS文件系统和Hbase的操作命令。

二、实验内容和原理

Hadoop文件系统:
HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。
Hbase：
HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。 HBase在Hadoop的文件系统之上，并提供了读写访问。

三、主要环境

CentOS 6.5、虚拟机、hbase-1.2.6-bin

四、实验数据记录和处理

Hadoop使用

4.1 HDFS命令的熟悉

1.创建文件夹

hadoop fs -mkdir input hadoop fs -mkdir /input

2.列出HDFS文件

hadoop fs -ls #返回HDFS的user/zzf目录下的内容 hadoop fs -ls / #返回HDFS根目录下的内容 hadoop fs -ls /input #返回HDFS的input目录下的内容

3.上传本地文件到HDFS

hadoop fs -put newfile /input #上传到HDFS的input目录中 hadoop fs -put test1.txt /input hadoop fs -put newfile newfile1 #上传并重新命名

4.将HDFS的文件复制到本地系统中

hadoop fs -get newfile1 newfile1 hadoop fs -get input in

5.删除HDFS下的文档

hadoop fs -rmr newfile1 hadoop fs -rm /newfile1 hadoop fs -rmr /input

6.查看HDFS下的文档

hadoop fs -cat newfile hadoop fs -cat newfile \| head -2 hadoop fs -cat newfile \| tail -2

7.运行Sort

bin/hadoop jar hadoop-examples-1.2.1.jar sort /sort_in /sort_out hadoop fs -cat /sort_out/*

8.查看HDFS命令

hadoop fs -help

9.报告HDFS的基本统计信息

hadoop dfsadmin -report

10.安全模式

hadoop dfsadmin -saftmode leave hadoop dfsadmin -saftmode enter

11.负载均衡

bin/start-balancer.sh

安装部署HBase
该部分的安装需要在Hadoop已经安装成功的基础上，并且要求Hadoop已经正常启动。

4.2 解压并安装HBase

使用下面的命令，解压HBase安装包：

cd /home/zzf/resource mv hbase-0.98.9-hadoop2.tar.gz ~/ cd tar -zxvf hbase-0.98.9-hadoop21.tar.gz cd hbase-0.98.9-hadoop2

4.3 配置HBase

进入HBase安装主目录，然后修改配置文件

cd /home/zzf/hbase-0.98.9-hadoop2/conf

4.3.1 修改环境变量hbase-env. sh

使用下面的命令打开文件

gedit hbase-env.sh

该文件的靠前部分有下面一行内容

#export JAVA_HOME=/usr/java/jdk1.6.0/

将该行内容修改为

export JAVA_HOME=/usr/java/jdk1.8.0_101/

4.3.2修改配置文件hbase-site.xml

用下面的内容替换原先hbase-site.xml中的内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://master:9000/hbase</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>master</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

4.3.3设置regionservers

将regionservers中的localhost修改为下面的内容

slave

4.3.4将HBase安装文件复制到HadoopSlave节点

使用下面的命令操作

cd scp -r hbase-0.98.9-hadoop2 slave:~/

4.4启动并验证HBase

进入HBase安装主目录，启动HBase

cd /home/zzf/hbase-0.98.9-hadoop2 bin/start-hbase.sh

执行命令后会看到下面的打印输出

4.5 HBase Shell操作命令实验

进入HBase安装主目录，启动HBase，进入客户端

cd /home/zzf/hbase-0.98.9-hadoop2 bin/hbase shell

查看列表

list

创建表test

create ‘test’,{NAME=>‘f1’,version=>5}

插入数据

put ‘test’,‘aid001’,‘f1:uid’,‘001’

扫描查询数据

scan ‘test’

单条查询数据

get ‘test’,‘aid001’

查看表结构

describe ‘test’

修改表

disable 'test’ alter ‘test’,NAME=>‘f1’,VERSION=>3 enable ‘test’

再次查看表结构进行对比

describe ‘test’

清空表

truncate ‘test’

扫描表

scan ‘test’

删除表

disable 'test’ drop 'test’ list

创建新表uid_cnt

Create ‘uid_cnt’,{NAME=>‘f1’,VERSION=>5}

五、实验结果与分析

HDFS命令：

启动并验证HBase：

打开Firefox浏览器，在地址栏中输入htttp://master:60010，会看到如下图的HBase管理页面，看到这些说明HBase已经启动成功

HBase Shell操作命令实验结果如图：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/690351