当前位置:   article > 正文

Hadoop上传文件到hdfs中

hadoop上传文件到hdfs

Hadoop上传文件到hdfs中

hadoop常见指令:

  • hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到 hdfs
    上(原路径只能是一个文件)
  • hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等
  • hadoop fs -ls / :查看根目录文件
  • hadoop fs -ls /tmp/data:查看/tmp/data目录
  • hadoop fs -cat /tmp/a.txt :查看 a.txt,与 -text 一样
  • hadoop fs -mkdir dir:创建目录dir
  • hadoop fs -rmr dir:删除目录dir

出现 Call From master to localhost:9000 failed on connection exception…的错误:
原因没有打开权限:

修改 /hadoop/etc/hadoop/hdfs.site.xml
  • 1

找到dfs.permissions属性修改为false(默认为true)OK了
这里写图片描述

出现hdfs.DFSClient: DataStreamer Exception的问题:
原因:在进行namenode格式化时多次造成那么spaceID不一致。

1.删除core.site.xml中临时文件指定的目录
这里写图片描述

2.重新进行格式化

hadoop name -formate 
  • 1

3.启动集群

start-all.sh
  • 1

4.创造目录

hadoop fs -mkdir /user
hadoop fs -mkdir /user/root
  • 1
  • 2

5上传文件

hdfs dfs -put movie.csv /user/root/
  • 1

这里写图片描述

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/721774
推荐阅读
相关标签
  

闽ICP备14008679号