Linux 安装Hadoop_linux安装hadoop

1、环境配置：
jdk：jdk-8u161-linux-x64
Hadoop：hadoop-3.3.0
2、安装步骤：
1、先安装jdk。（具体安装步骤查看Linux安装jdk）
2、上传hadoop到Linux服务器。（本次安装上传到/usr/hadoop/)

3、解压hadoop
命令：tar -zxvf hadoop-3.3.0.tar.gz
执行结果：

4、配置jdk安装路径：
（1）配置路径：/usr/hadoop/hadoop-3.3.0/etc/hadoop/hadoop-env.sh 
（2）将jjdk安装路径配置到文件中
export JAVA_HOME=/usr/java/java1.8.0_161

5、配置hadoop的环境变量
（1）配置路径：/etc/profile
（2）执行命令： vi /etc/profile
（3）插入环境变量
export HADOOP_HOME=/usr/hadoop/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin

6、生效环境变量
（1）执行命令：source /etc/profile
7、修改core-site.xml
(1)配置路径/usr/hadoop/hadoop3.3.0/etc/hadoop/core-site.xml
（2）增加如下配置：



fs.defaultFS
hdfs://localhost:9000



hadoop.tmp.dir
/usr/hadoop/tmp

8、修改hdfs-site.xml
(1)配置路径/usr/hadoop/hadoop3.3.0/etc/hadoop/hdfs-site.xml 
（2）增加如下配置：


dfs.name.dir
/usr/hadoop/hdfs/name
namenode上存储hdfs名字空间元数据

<property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/hdfs/data</value>
    <description>datanode上数据块的物理存储位置</description>
</property>


<!-- 设置hdfs副本数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12

9、ssh免密码登录
（1）执行命令如下：
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

10、启动hdfs
（1）第一次启动需要格式
1、执行命令如下：
cd /usr/hadoop/hadoop-3.3.0
./bin/hdfs namenode -format
(2)修改启动配置
文件配置路径：
/usr/hadoop/hadoop-3.3.0/sbin/start-dfs.sh
/usr/hadoop/hadoop-3.3.0/sbin/stop-dfs.sh
在文件夹中加入如下配置：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

11、启动
执行命令：./sbin/start-dfs.sh
停止执行命令：./sbin/stop-dfs.sh
12、配置yarn文件
1、配置mapred-site.xml
文件路径：/usr/hadoop/hadoop-3.3.0/etc/hadoop/mapred-site.xml 
在文件中增加



mapreduce.framework.name
yarn

2、配置yarn-site.xml
文件路径：/usr/hadoop/hadoop-3.3.0/etc/hadoop/yarn-site.xml
在文件中增加



yarn.nodemanager.aux-services
mapreduce_shuffle

13、启动yarn
1、修改./sbin/start-yarn.sh、./sbin/stop-yarn.sh配置文件
在文件增加如下内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
2、启动：./sbin/start-yarn.sh
3、停止：./sbin/stop-yarn.sh
14、检查是否启动成功：
执行命令如下：jps
浏览器输入：http://192.9.30.217:8088/
出现如下结果：

浏览器输入：http://192.9.30.217:50070/
出现如下结果：

15、解决50070访问不到：
1、 排查Namenode是否部署成功
排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenodestatus或jps两种方式之一查看，如Namenode未部署成功，需重新部署Namenode；若已部署成功，请进行第二步排查！
2、排查datanode是否部署成功
排查datanode是否部署成功可以采用jps命令进行查看，如果部署未成功，找到问题节点进行解决；若部署成功请进行第三步。
3、排查防火墙是否开启
排查防火墙是否正常开启，如果防火墙关闭了，可按照以下方式进行设置：
netstat –ant  #查看本地开发端口
127.0.0.150070
在hdfs-site.xml中，更改开放端口的绑定IP：
文件路径：/usr/hadoop/hadoop3.3.0/etc/hadoop/hdfs-site.xml 

   dfs.http.address
   0.0.0.0:50070

16、解决权限报错的问题：
在开启hadoop时候报错：localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

此时 ssh localhost也会失败
原因是秘钥没有给自己，
运行ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@localhost即可解决。

参考文献：
https://blog.csdn.net/cafebar123/article/details/73500014
https://blog.csdn.net/lglglgl/article/details/80553828
https://blog.csdn.net/Mr_Lon/article/details/88198119
https://bbs.elecfans.com/jishu_1568878_1_1.html
https://blog.csdn.net/hliq5399/article/details/78193113
https://blog.csdn.net/bingduanlbd/article/details/51892750（j集群部署）