当前位置:   article > 正文

HDFS、Hive、HBase常用命令整理_hadoop、hbase、hive等系统基本命令

hadoop、hbase、hive等系统基本命令

对于一个初学者来说,HDFS、Hive、Hbase常用命令比较多,一时间又难以记住,这里做一个小小的整理总结

1.  Hadoop命令

文件浏览,不能递归显示

hadoop fs –ls /[path]

递归显示文件

hadoop fs –lsr /[path]

统计文件大小(-h 人性化显示,GB,MB,KB)

hadoop fs –du -h /[path]

只统计文件夹大小

hadoop fs –dus -h /[path]

统计文件和文件夹数量

hadoop fs –count -h /[path]

移动

hadoop fs -mv /[source path] /[dest path]

复制

hadoop fs -cp /[source path] /[dest path]

删除文件/空白文件夹

hadoop fs -rm /[path]

递归删除

hadoop fs -rmr /[path]

上传文件到hdfs文件系统(hdfs路径末尾不加斜线表示上传之后重命名)

hadoop fs -put /[linux本地路径] /[hdfs 路径]

从hdfs下载文件

 

hadoop fs -get /[hdfs 路径] /[linux本地路径]

上传多个文件到hdfs系统(复制)

 

hadoop fs –copyFromLocal /[linux本地路径1] /[linux本地路径2 ]… /[hdfs 路径]

从hdfs系统下载到本地linux(复制)

 

hadoop fs –copyToLocal /[hdfs 路径]  /[linux本地路径1]

上传多个文件到hdfs系统(剪切)

 

hadoop fs –moveFromLocal /[linux本地路径1] /[linux本地路径2 ]… /[hdfs 路径]

从hdfs系统下载到本地linux(剪切)

 

hadoop fs –moveToLocal /[hdfs 路径] /[linux本地路径1]  

从hdfs(多个文件)合并到linux本地

hadoop fs -getmerge /[hdfs path] /[linux path]/文件名

查看文件内容

hadoop fs –cat/-text /[path]

修改副本数

hadoop fs –setrep [副本数] /[path]

创建空白文件

hadoop fs –touchz /[path]

显示文件统计信息

hadoop fs –stat [format] [/path]

查看文件头尾

hadoop fs –tail [-h/-f] [/文件]

修改权限/属组/属主

hadoop –chmod/-chgrp /-chown [/path]

 

 如果提示权限不足,则需要用hdfs用户进行操作,具体命令如下 sudo -u hdfs hadoop fs -rm /[path]

2.  Hive Beeline命令

 

Beeline连接

beeline -u "jdbc:hive2://node2:10000/default;principal=hive/node2@HADOOP.COM

 

2.1.建表

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS][db_name.]table_name     [(col_namedata_type [COMMENT col_comment],

...

[constraint_specification])]

[COMMENT table_comment]

//上面是类似与普通sql的建表语句,除了temporaryexternal代表内部表和外部表

 

[PARTITIONED BY (col_name data_type [COMMENT col_comment],...)]

//partitioned 代表分区的字段,分区字段不在表里,而是以单独文件分割表

 

[CLUSTERED BY (col_name, col_name, ...)

[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]

//排序分桶

[SKEWED BY (col_name, col_name, ...) //倾斜表,防止数据集中影响性能         

 ON ((col_value,col_value, ...), (col_value, col_value, ...), ...)

[STORED AS DIRECTORIES] //存储格式

  [

   [ROW FORMATrow_format]  //各分隔符

   [STORED ASfile_format]  //存储格式

     | STORED BY'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] 

  [LOCATION hdfs_path]   //存储位置

  [TBLPROPERTIES(property_name=property_value, ...)]   --(Note: Available in Hive 0.6.0 and later)

  [ASselect_statement];  

 

2.2.导入数据(Hive不支持行级别的插入)

 

LOAD DATA LOCALINPATH './examples/files/kv1.txt' OVERWRITE INTOTABLE pokes PARTITION(ds='2008-08-15');

 Local表示linux系统文件,没有local代表hdfs文件路径

 

3.  Hbase Shell命令

创建表

create '表名称', '列名称1','列名称2','列名称N'

添加记录     

put '表名称', '行名称', '列名称:', '值'

查看记录

get '表名称', '行名称'

查看表中的记录总数

count  '表名称'

删除记录

delete  '表名' ,'行名称' , '列名称'

删除一张表

先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步 drop '表名称'

查看所有记录

scan "表名称" 

查看某个表某个列中所有数据

scan "表名称" , ['列名称:']

更新记录

就是重写一遍进行覆盖

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/868062
推荐阅读
相关标签
  

闽ICP备14008679号