Hadoop单机环境搭建_hadoop单机版访问hdfs

一、jdk环境

从官方下载jdk，版本1.8及以上即可
给个地址：jdk8

二、IP地址和主机名映射

将主机名与IP地址映射，可以用主机名进行任务分发或文件传输以及其他工作
1.查看主机名称

//主机名可在/etc/hostname文件中修改
$:hostname

2.查看IP地址

$:ip addr

3.hosts文件追加内容：ip为自个儿的ip地址

$:vim /etc/hosts
192.168.1.101 master

三、生成公私钥授权

$:ssh-keygen -t rsa
//授权：
$:cd ~/.ssh

写入公钥到授权文件

$:cat id_rsa.pub >> authorized_keys
chmod 600 autoorized_keys

Ubuntu如果没有安装ssh则启动时会报错

//此时需要安装openssh-server
sudo apt-get install openssh-server

四、下载解压Hadoop

1. Hadoop官方链接
2. hadoop3.3.1下载链接
3. 复制到/usr/app目录下

cp ./hadoop-3.x.y.tar.gz /usr/app/

4. 解压

tar -zvxf hadoop-x.y.z.tar.gz

五、配置Hadoop环境变量

vim /etc/profile
//添加环境
export HADOOP_HOME=/usr/app/hadoop-x.y.z
export PATH=$ HADOOP_HOME/bin:$PATH
//使配置生效
source /etc/profile

六、修改Hadoop配置文件

cd $HADOOP_HOME/etc/hadoop/
//进入Hadoop配置文件文件夹

1.hadoop-env.sh

vim hadoop-env.sh
//jdk安装路径
export JAVA_HOME=/usr/java/jdk1.8.0_171

2.core-site.xml

vim core-site.xml

<configuration>
    <property>
        <!--指定 namenode 的 hdfs 协议文件系统的通信地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:8020</value>
    </property>
    <property>
        <!--指定 hadoop 存储临时文件的目录-->
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

这里的临时文件目录需要手动创建Hadoop后，将权限修改为Hadoop可以进行修改，不然初始化会报错

进入home目录cd /home
sudo mkdir hadoop
sudo chmod 777 ./hadoop/

3.hdfs-site.xml

<configuration>
    <property>
        <!--由于我们这里搭建是单机版本，所以指定 dfs 的副本系数为 1-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
1
2
3
4
5
6
7

4.workers

localhost

注意：Hadoop3.0以上版本将slaves改为workers

七、关闭防火墙

ubuntu安装默认没有防火墙
Ubuntu和Centos的关闭请自行查询

八、初始化

cd $HADOOP_HOME/bin
./hdfs namenode -format

初始化只需要一次就可以，多次格式化会导致namenode无法启动
如果出现namenode无法启动的情况，则需要删除home/hadoop/tmp/data/namenode/current目录

九、启动

cd $HADOOP_HOME/sbin
./start-dfs.sh

验证是否启动成功一：

$jps
6150 DataNode
5963 NameNode
6368 SecondaryNameNode
6493 Jps

验证是否启动成功二：

打开浏览器
输入localhost:9870进入Hadoop web页面

十、Yarn配置启动

配置好yarn之后

cd $HADOOP_HOME/sbin
./start-yarn.sh