【HDFS】Hadoop分布式文件系统_hadoop ugi

HDFS被设计用来可靠存储并向用户高速传输超大数据集。在大的集群中，成千上万台服务器都直接挂载存储设备并执行用户任务。通过将存储和计算分布到多台服务器，这些资源可以按需增长，同时在任何规模都保持经济性

一、HDFS客户端安装与常用操作

1. 客户端安装并设置在普通用户访问

• 安装公司通用HDFS集群访问客户端，如下，在root下安装后可更改目录权限拥有者为普通用户，bin下有haddop访问命令脚本
• 将命令添加到Linux系统环境变量，使得不用每次都从客户端根目录bin去执行hadopp命令

[root@IP /data/hadoop_client/dfsclient]# ll
total 52
-rw-r--r-- 1 uername uername 15429 May 23  2019 LICENSE.txt
-rw-r--r-- 1 uername uername   101 May 23  2019 NOTICE.txt
-rw-r--r-- 1 uername uername  1366 May 23  2019 README.txt
drwxr-xr-x 2 uername uername  4096 Feb 18 09:51 bin
drwxr-xr-x 3 uername uername  4096 May 23  2019 etc
drwxr-xr-x 2 uername uername  4096 May 23  2019 include
drwxr-xr-x 3 uername uername  4096 May 23  2019 lib
drwxr-xr-x 2 uername uername  4096 May 23  2019 libexec
drwxr-xr-x 2 uername uername  4096 May 23  2019 sbin
drwxr-xr-x 4 uername uername  4096 May 23  2019 share
1
2
3
4
5
6
7
8
9
10
11
12

vi ~/.bashrc
#设置hadoop系统变量，root下保存则对所有普通用户都有效
export HADOOP_HDFS_CLIENT=/data/hadoop_client/dfsclient/bin
export PATH="$PATH:$HOME/.ft:$HADOOP_HDFS_CLIENT"
1
2
3
4

2. 常用操作

# 1. 查看指定目录下文件列表
hadoop fs -Dhadoop.job.ugi=user:passwd -ls hdfs://path 

# 2. 在指定目录下创建test
1
2
3