赞
踩
对于一个初学者来说,HDFS、Hive、Hbase常用命令比较多,一时间又难以记住,这里做一个小小的整理总结
文件浏览,不能递归显示 | hadoop fs –ls /[path] |
递归显示文件 | hadoop fs –lsr /[path] |
统计文件大小(-h 人性化显示,GB,MB,KB) | hadoop fs –du -h /[path] |
只统计文件夹大小 | hadoop fs –dus -h /[path] |
统计文件和文件夹数量 | hadoop fs –count -h /[path] |
移动 | hadoop fs -mv /[source path] /[dest path] |
复制 | hadoop fs -cp /[source path] /[dest path] |
删除文件/空白文件夹 | hadoop fs -rm /[path] |
递归删除 | hadoop fs -rmr /[path] |
上传文件到hdfs文件系统(hdfs路径末尾不加斜线表示上传之后重命名) | hadoop fs -put /[linux本地路径] /[hdfs 路径] |
从hdfs下载文件
| hadoop fs -get /[hdfs 路径] /[linux本地路径] |
上传多个文件到hdfs系统(复制)
| hadoop fs –copyFromLocal /[linux本地路径1] /[linux本地路径2 ]… /[hdfs 路径] |
从hdfs系统下载到本地linux(复制)
| hadoop fs –copyToLocal /[hdfs 路径] /[linux本地路径1] |
上传多个文件到hdfs系统(剪切)
| hadoop fs –moveFromLocal /[linux本地路径1] /[linux本地路径2 ]… /[hdfs 路径] |
从hdfs系统下载到本地linux(剪切)
| hadoop fs –moveToLocal /[hdfs 路径] /[linux本地路径1] |
从hdfs(多个文件)合并到linux本地 | hadoop fs -getmerge /[hdfs path] /[linux path]/文件名 |
查看文件内容 | hadoop fs –cat/-text /[path] |
修改副本数 | hadoop fs –setrep [副本数] /[path] |
创建空白文件 | hadoop fs –touchz /[path] |
显示文件统计信息 | hadoop fs –stat [format] [/path] |
查看文件头尾 | hadoop fs –tail [-h/-f] [/文件] |
修改权限/属组/属主 | hadoop –chmod/-chgrp /-chown [/path] |
如果提示权限不足,则需要用hdfs用户进行操作,具体命令如下 sudo -u hdfs hadoop fs -rm /[path]
Beeline连接 | beeline -u "jdbc:hive2://node2:10000/default;principal=hive/node2@HADOOP.COM |
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS][db_name.]table_name [(col_namedata_type [COMMENT col_comment],
...
[constraint_specification])]
[COMMENT table_comment]
//上面是类似与普通sql的建表语句,除了temporary和external代表内部表和外部表
[PARTITIONED BY (col_name data_type [COMMENT col_comment],...)]
//partitioned 代表分区的字段,分区字段不在表里,而是以单独文件分割表
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
//排序分桶
[SKEWED BY (col_name, col_name, ...) //倾斜表,防止数据集中影响性能
ON ((col_value,col_value, ...), (col_value, col_value, ...), ...)
[STORED AS DIRECTORIES] //存储格式
[
[ROW FORMATrow_format] //各分隔符
[STORED ASfile_format] //存储格式
| STORED BY'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]
[LOCATION hdfs_path] //存储位置
[TBLPROPERTIES(property_name=property_value, ...)] --(Note: Available in Hive 0.6.0 and later)
[ASselect_statement];
LOAD DATA LOCALINPATH './examples/files/kv1.txt' OVERWRITE INTOTABLE pokes PARTITION(ds='2008-08-15');
Local表示linux系统文件,没有local代表hdfs文件路径
创建表 | create '表名称', '列名称1','列名称2','列名称N' |
添加记录 | put '表名称', '行名称', '列名称:', '值' |
查看记录 | get '表名称', '行名称' |
查看表中的记录总数 | count '表名称' |
删除记录 | delete '表名' ,'行名称' , '列名称' |
删除一张表 | 先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步 drop '表名称' |
查看所有记录 | scan "表名称" |
查看某个表某个列中所有数据 | scan "表名称" , ['列名称:'] |
更新记录 | 就是重写一遍进行覆盖 |
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。