Linux安装hadoop_通过pycharm 对接linux上的hadoop

前提：下载hadoop2.8.5

wget下载hadoop，或如果是虚拟机，也可以使用sftp从windows上传hadoop文件
wget -P /home/cent/Downloads https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
sftp从windows上传hadoop文件【传输文件sftp命令】

1、解压hadoop

可以先复制到安装目录modules，也可以在解压tar命令中指定路径
cp /home/cent/Downloads/hadoop-2.8.5.tar.gz /opt/modules/
解压到当前目录
tar -zxvf hadoop-2.8.5.tar.gz

2、配置环境变量

在 /etc/profile 文件中加入以下内容：

export HADOOP_HOME=/opt/modules/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

输入source命令，使更改马上生效：source profile
hadoop或hadoop version查看安装是否成功

3、伪分布式hadoop

Hadoop部署模式：单机模式、伪分布式、完全分布式模式、HA完全分布式模式。
本次使用伪分布式需要调整路径【/etc/hadoop/】下的配置文件：
hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS节点名称和地址
hdfs-site.xml 配置HDFS复制数量
mapred-site.xml 配置mapreduce.framework

3.1 hadoop-env.sh

屏蔽：export JAVA_HOME=${JAVA_HOME}
新增jdk路径：export JAVA_HOME=/opt/modules/jdk1.8.0_191

3.2 core-site.xml

  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cos6743:9000</value>
  </property>
  <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.8.5/tmp</value>
  </property>
1
2
3
4
5
6
7
8

fs.defaultFS参数配置的是HDFS的地址，cos6743即hostname，当然也可以用IP地址。
hadoop.tmp.dir指定hadoop运行时产生文件的存储路径。

3.3 hdfs-site.xml

 <property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>
1
2
3
4

dfs.replication参数设置hdfs副本数量。

3.4 mapred-site.xml

1) cp mapred-site.xml.template mapred-site.xml
2) vi mapred-site.xml

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
1
2
3
4

该参数通知框架MR使用YARN

4、启动hadoop

4.1格式化

hadoop namenode -format
仅第一次使用时要格式化，以后不再需要格式化。
格式化是对HDFS分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。

4.2启动start-dfs

start-dfs.sh

4.3启动start-yarn

start-yarn.sh

4.4查看启动结果jps

访问HDFS的管理界面 http://ip:50070/
访问MapReduce管理界面：http://ip:8088/cluster