【大数据系列】win10上安装hadoop开发环境

为了方便采用了Cygwin模拟linux环境的方法

一、安装JDK以及下载hadoop

hadoop官网下载hadoop http://hadoop.apache.org/releases.html 。

二、安装Cygwin

1、http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件。

2、双击下载好的安装文件进入安装引导页，选择从网络安装

3、选择安装路径

4、选择internet连接方式

5、选择合适的安装源

6、选择需要安装的软件包

    net下的openssh和openssl

    Base下的sed

    Editors下的vim

7、等待安装完成

8、配置环境变量

9、安装sshd服务

启动Cygwin执行ssh-host-config - y

出现下述文字表示安装成功

10、启动sshd服务

      net start sshd

三、安装hadoop

1、下载hadoop并解压

     http://hadoop.apache.org/releases.html 

2、单机模式配置

    单机模式不需要进行配置，这种方式下，Hadoop被认为是一个单独的Java进程，经常用来进行调试。

3、伪分布模式

    伪分布模式可以看做是只有一个节点的集群，在这个集群中，这个节点既是Master也是Slave,既是NameNode也是DataNode,既是JobTracket也是TaskTranker.

   伪分布式需要修改配置文件hadoop-env.sh  core-site.xml  hdfs-site.xml mapred-site.xml 

<!--core-site-->
<configuration>  
    <property>  
　　　　<name>fs.default.name</name>  
　　　　<value>hdfs://localhost:9999</value>  
　　</property>  
　　<property>  
　　　　<name>mapred.child.tmp</name>  
　　　　<value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>  
　　</property>
</configuration>

 

<!--hdfs-site-->
<configuration>
 <property>  
    　　<name>dfs.replication</name>  
    　　<value>1</value>  
 </property>
</configuration>

<!--mapred-site.xml-->
<configuration>
 <property>  
　　　　   <name>mapred.job.tracker</name>  
　　　　   <value>localhost:9998</value>  
　　    </property>  
　　    <property>  
　　　　   <name>mapred.child.tmp</name>  
　　　　   <value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>  
　　    </property>  
</configuration>

4、启动hadoop

打开cygwin窗口，进入hadoop文件夹，启动hadoop之前需要先格式化Hadoop的文件系统HDFS，执行命令 bin/hadoop namenoce -format