赞
踩
文件名称
|
格式
|
描述
|
hadoop-env.sh
|
shell脚本
|
Hadoop运行中需要用到的环境变量
|
core-site.xml
|
XML
|
Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等
|
hdfs-site.xml
|
XML
|
Hadoop守护进程的配置项,包括namenode, secondary namenode, 和datanode等
|
mapred-site.xml
|
XML
|
MapReduce守护进程的配置项,包括jobtracker和tasktracker
|
masters
|
纯文本
|
运行secondary namenode的机器列表
|
slaves
|
纯文本
|
运行datanode和tasktracker的机器列表
|
hadoop-metrics.properties
|
Java属性
|
控制如何在Hadoop上发布度量的属性
|
log4j.properties
|
Java属性
|
系统日志文件、namenode审计日志,tasktracker子进程的任务日志的属性
|
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- </configuration>
当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>file:/usr/local/hadoop/tmp</value>
- <description>A base for other temporary directories.</description>
- </property>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://localhost:9000</value>
- </property>
- </configuration>
mapred-site.xml可以使用系统默认的最小配置。
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>file:/usr/local/hadoop/tmp/dfs/name</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>file:/usr/local/hadoop/tmp/dfs/data</value>
- </property>
- </configuration>
3. 全分布式(集群)模式
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>file:/usr/local/hadoop/tmp</value>
- <description>Abase for other temporary directories.</description>
- </property>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://hadoop-master-vm:9000</value>
- </property>
- </configuration>
对比伪分布式工作模式,主机名是使用的localhost,但集群模式下,需要为工作节点slave提供主节点的信息,这里使用的是主机名。因此我们需要提供主机名与IP地址之间的转换服务,可提供静态的DNS转换服务,通过修改/etc/hosts的配置来提供;另外一种就是提供动态的DNS服务器来负责主机名和IP地址的解析服务。
hadoop-slave01-vm
hadoop-slave02-vm
hadoop-slave03-vm
在集群情况下,我们需要使用HDFS的冗余功能,因此副本配置就不像伪分布式模式那样设置为1,我们这里采取了缺省的副本数为3的配置。我们可以配置Secondary NameNode,以提供NameNode的冗余。
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>dfs.namenode.secondary.http-address</name>
- <value>hadoop-master-vm:50090</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>3</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>file:/usr/local/hadoop/tmp/dfs/name</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>file:/usr/local/hadoop/tmp/dfs/data</value>
- </property>
- </configuration>
如果我们选择第二代MapReduce框架Yarn,那么需要修改mapred-site.xml和yarn-site.xml配置文件。在下面的mapred-site.xml配置文件中,我们提供了Job History的配置,以方便用户查询作业的历史信息。
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- <property>
- <name>mapreduce.jobhistory.address</name>
- <value>hadoop-master-vm:10020</value>
- </property>
- <property>
- <name>mapreduce.jobhistory.webapp.address</name>
- <value>hadoop-master-vm:19888</value>
- </property>
- </configuration>
Yarn的配置文件yarn-site.xml中,我们需要提供ResourceManager的主机名。
- <?xml version="1.0" encoding="UTF-8"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
-
- <configuration>
- <!-- Site specific YARN configuration properties -->
- <property>
- <name>yarn.resourcemanager.hostname</name>
- <value>hadoop-master-vm</value>
- </property>
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- </configuration>
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。