当前位置:   article > 正文

(保姆级)Spark气象监测数据分析-步骤1.2上将处理的文件传到HDFS上_spark hdfs

spark hdfs

目录

写在前面的话

需要的前瞻知识

用到的软件版本

数据集

执行过程

总纲

(保姆级)Spark气象监测数据分析-总纲

写在前面的话

首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言,看到了就会回复

需要的前瞻知识

这篇博客是假设读者都是已经安装好了Hadoop,Spark,以及对idea插件等,如果在安装这些大数据软件遇到了困难可以根据版本号在CSDN里搜对应的大数据软件安装

用到的软件版本

Hadoop2.7.7;Java1.8.0;sbt1.4.0;Spark2.4.0;Hive2.1.1;ZooKeeper3.5.10;Python3.7.9

数据集

数据集

也可点击下面的链接

链接:https://pan.baidu.com/s/13T8IHjAjvbsvQtQ01Ro__Q?pwd=494j 
提取码:494j

执行过程

对于有Hadoop基础的来说很简单

在命令行输入(我已经配好了Hadoop的环境变量,没有配好的需要进HADOOP_HOME/bin执行,大概是这个路径

[root@master ~]# start-all.sh 

得到运行结果

  1. [root@master ~]# start-all.sh
  2. This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
  3. Starting namenodes on [master]
  4. master: starting namenode, logging to /root/hadoop-2.7.7/logs/hadoop-root-namenode-master.out
  5. s2: starting datanode, logging to /root/hadoop-2.7.7/logs/hadoop-root-datanode-slave2.out
  6. s1: starting datanode, logging to /root/hadoop-2.7.7/logs/hadoop-root-datanode-slave.out
  7. localhost: starting datanode, logging to /root/hadoop-2.7.7/logs/hadoop-root-datanode-master.out
  8. Starting secondary namenodes [0.0.0.0]
  9. 0.0.0.0: starting secondarynamenode, logging to /root/hadoop-2.7.7/logs/hadoop-root-secondarynamenode-master.out
  10. starting yarn daemons
  11. starting resourcemanager, logging to /root/hadoop-2.7.7/logs/yarn-root-resourcemanager-master.out
  12. s2: starting nodemanager, logging to /root/hadoop-2.7.7/logs/yarn-root-nodemanager-slave2.out
  13. s1: starting nodemanager, logging to /root/hadoop-2.7.7/logs/yarn-root-nodemanager-slave.out
  14. localhost: starting nodemanager, logging to /root/hadoop-2.7.7/logs/yarn-root-nodemanager-master.out

同时访问界面

http://192.168.244.130:50070/

其实就是Master:50070

使用命令行

1. 确认HDFS目标路径已存在,如果没有可以先创建:

  1. bash
  2. hdfs dfs -mkdir /zjcbigdata

2. 上传本地文件到HDFS路径下:

  1. bash
  2. hdfs dfs -put /root/res.csv /zjcbigdata

这个命令会把本地/root/res.csv文件上传到HDFS的/zjcbigdata路径下。3. 验证文件是否上传成功:

  1. bash
  2. hdfs dfs -ls /zjcbigdata

如果成果进入界面可以找到

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/528646
推荐阅读
相关标签
  

闽ICP备14008679号