Hadoop : hdfs的客户端操作_hdfs客户端

hdfs的客户端操作

hdfs--分布式文件系统

功能：帮用户管理文件
 
机制：用户的文件会被切块后存储在多台Datanode服务器中，
 
并且每个文件块都会在整个集群中存储多个副本。
 
副本的数量可以由用户指定；

总而言之，hdfs:

对用户提供一个统一的目录树。
 
存储用户的文件时：会切成若干文件块分布式地存储到多台Datanode服务器中
 
Datanode软件存储用户的文件块时，是存在Datanode所运行服务器的本地磁盘目录中；
 
用户的文件块可以存储多个副本，以增强数据的安全性；
 
用户的文件块位置信息，记录在Namenode软件中

 

客户端的理解

hdfs的客户端有多种形式：

1. 网页形式
2. 命令行形式
3. 客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网

 

文件的切块大小和存储的副本数量，都是由客户端决定！

所谓的由客户端决定，是通过配置参数来定的
hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：
切块大小的参数： dfs.blocksize
副本数量的参数： dfs.replication

 

上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置

<property>
<name>dfs.blocksize</name>
<value>64m</value>
</property>
 
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

 

hdfs客户端的常用操作命令

• 上传文件到hdfs中(以128M为单位，分割保存)

hadoop fs -put /本地文件  /aaa

• 下载文件到客户端本地磁盘

hadoop fs -get /hdfs中的路径   /本地磁盘目录

• 在hdfs中创建文件夹

hadoop fs -mkdir  -p /aaa/xxx

• 移动hdfs中的文件（更名）

hadoop fs -mv /hdfs的路径1  /hdfs的另一个路径2

 

• 复制hdfs中的文件到hdfs的另一个目录

hadoop fs -cp /hdfs路径_1  /hdfs路径_2

• 删除hdfs中的文件或文件夹

hadoop fs -rm -r /aaa

• 查看hdfs中的文本文件内容

hadoop fs -cat /demo.txt
 
hadoop fs -tail -f /demo.txt

• 查看hdfs的根目录

hadoop fs -ls /