HDFS集群启动、YARN集群、简单操作演示_window怎么启动yarn集群打开网页页面

• 目录

  启动集群

  1、格式化HDFS 因为HDFS也是文件系统，第一次使用一个文件系统都要格式化

  2、启动hdfs集群（注意启动集群时，最好将集群中所有机器的时间设置一致

  3、启动yarn集群

  4、使用web查看集群的状态

  5、hdfs简单操作演示

  6、系统自带mapreduce案例演示

  ---

• 启动集群

1、格式化HDFS 因为HDFS也是文件系统，第一次使用一个文件系统都要格式化

hadoop  namenode  -format      #在min1机器上执行格式化命令

2、启动hdfs集群（注意启动集群时，最好将集群中所有机器的时间设置一致

start-dfs.sh    #在min1机器上执行启动hdfs集群命令
#注意启动集群时，最好将集群中所有机器的时间设置一致
date -s 'yyyy-mm-dd HH:MM:SS'

在min2和min3启动datanode成功显示：

3、启动yarn集群

start-yarn.sh       #在min1机器上执行启动yarn集群命令	

在min1启动resourcemanager成功显示:

在min2和min3启动nodemanager成功显示：

4、使用web查看集群的状态

使用浏览器打开 http://192.168.18.11:8088/

5、hdfs简单操作演示

  #浏览hdfs服务器上的文件列表
   hadoop fs -ls /		#在三台机器中任何机器上执行此操作都可以 显示hdfs的根目录下的所有文件
    					   #由于第一次执行查询根目录下文件内容，所以为空
 
  #在hdfs服务器上创建一个文件夹
    hadoop   fs  -mkdir  -p  /wordcount/input		#在三台机器中任何机器上执行此操作都可以
    											 #在根目录下创建一个名为input的文件夹
  #上传本地文件到hdfs服务器上
    hadoop   fs  -put /home/hadoop/wordcount_content.txt /wordcount/input 
    							#在三台机器中任何机器上执行此操作都可以
    							#将本地的/home/hadoop/test.txt文件上传到hdfs的/input目录下

6、系统自带mapreduce案例演示

   #启动系统自带的名为“wordcount”的mapreduce程序
    hadoop  jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/output   #执行一个mapreduce例子