Hadoop伪分布式配置

Hadoop伪分布式配置

  Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
  Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml

  首先进入目录/usr/local/hadoop/etc/hadoop/ 中

cd /usr/local/hadoop/etc/hadoop/
1

  执行下列命令：

vim core-site.xml
1

  将其中的

<configuration>
</configuration>
1
2

  修改为下面配置后保存退出（键盘按下esc，输入:wq保存）：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000 </value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11

修改配置文件 hdfs-site.xml

  在当前目录/usr/local/hadoop/etc/hadoop/ 下执行：

vim hdfs-site.xml
1

  将文件修改为：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

  配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop
1

./bin/hdfs namenode -format
1

  执行结果如下图：

  成功的话，会看到 “successfully formatted” 的提示

开启 NameNode 和 DataNode 守护进程

cd /usr/local/hadoop
1

./sbin/start-dfs.sh
1

  执行结果如图：