史上最详细的Hadoop环境搭建(二)_世界上最详细的hadoop环境搭建

第二部分：Hadoop本地模式安装

第四步、Hadoop部署模式

Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。

区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。

第五步、本地模式部署

十、本地模式介绍

本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置，默认的就是本地模式。

十一、解压hadoop后就是直接可以使用

1、 创建一个存放本地模式hadoop的目录

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone

 
 
1
 
 
1

2、 解压hadoop文件

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/

 
 
1
 
 
1

3、 确保JAVA_HOME环境变量已经配置好

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 modules]$ echo ${JAVA_HOME}
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     /opt/modules/jdk1
     
     .7
     
     .0_67
    
    
   
   
 
 
1
2
 
 
1

十二、运行MapReduce程序，验证

我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。

1、 准备mapreduce输入文件wc.input

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 modules]$ cat /opt/data/wc.input
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     hadoop mapreduce hive
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     hbase spark storm
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     sqoop hadoop hive
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     spark hadoop
    
    
   
   
 
 
1
2
3
4
5
 
 
1

2、 运行hadoop自带的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2

 
 
1
 
 
1

这里可以看到job ID中有local字样，说明是运行在本地模式下的。

3、 查看输出文件

本地模式下，mapreduce的输出是输出到本地。

 
 

   
   

    
    

   
   
   
   

    
    

     
     [hadoop
     
     @bigdata-senior01 hadoopstandalone]$ ll output2
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     total 
     
     4
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     -rw-r--r-- 
     
     1 hadoop hadoop 
     
     60 Jul  
     
     7 
     
     12:
     
     50 part-r-
     
     00000
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     -rw-r--r-- 
     
     1 hadoop hadoop  
     
     0 Jul  
     
     7 
     
     12:
     
     50 _SUCCESS
    
    
   
   
 
 
1
2
3
4
 
 
1

输出目录中有_SUCCESS文件说明JOB运行成功，part-r-00000是输出结果文件。