当前位置:   article > 正文

Hadoop单机环境搭建_hadoop单机版访问hdfs

hadoop单机版访问hdfs

一、jdk环境

从官方下载jdk,版本1.8及以上即可
给个地址:jdk8

二、IP地址和主机名映射

将主机名与IP地址映射,可以用主机名进行任务分发或文件传输以及其他工作
1.查看主机名称

//主机名可在/etc/hostname文件中修改
$:hostname

2.查看IP地址

$:ip addr

3.hosts文件追加内容:ip为自个儿的ip地址

$:vim /etc/hosts
192.168.1.101 master

三、生成公私钥授权

$:ssh-keygen -t rsa
//授权:
$:cd ~/.ssh

写入公钥到授权文件

$:cat id_rsa.pub >> authorized_keys
chmod 600 autoorized_keys

Ubuntu如果没有安装ssh则启动时会报错

//此时需要安装openssh-server
sudo apt-get install openssh-server

四、下载解压Hadoop

  1. Hadoop官方链接
  2. hadoop3.3.1下载链接
  3. 复制到/usr/app目录下

cp ./hadoop-3.x.y.tar.gz /usr/app/

  1. 解压

tar -zvxf hadoop-x.y.z.tar.gz

五、配置Hadoop环境变量

vim /etc/profile
//添加环境
export HADOOP_HOME=/usr/app/hadoop-x.y.z
export PATH=$ HADOOP_HOME/bin:$PATH
//使配置生效
source /etc/profile

六、修改Hadoop配置文件

cd $HADOOP_HOME/etc/hadoop/
//进入Hadoop配置文件文件夹

1.hadoop-env.sh

vim hadoop-env.sh
//jdk安装路径
export JAVA_HOME=/usr/java/jdk1.8.0_171

2.core-site.xml

vim core-site.xml

<configuration>
    <property>
        <!--指定 namenode 的 hdfs 协议文件系统的通信地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:8020</value>
    </property>
    <property>
        <!--指定 hadoop 存储临时文件的目录-->
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

这里的临时文件目录需要手动创建Hadoop后,将权限修改为Hadoop可以进行修改,不然初始化会报错

进入home目录cd /home
sudo mkdir hadoop
sudo chmod 777 ./hadoop/

3.hdfs-site.xml

<configuration>
    <property>
        <!--由于我们这里搭建是单机版本,所以指定 dfs 的副本系数为 1-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

4.workers

localhost

注意:Hadoop3.0以上版本将slaves改为workers

七、关闭防火墙

ubuntu安装默认没有防火墙
Ubuntu和Centos的关闭请自行查询

八、初始化

cd $HADOOP_HOME/bin
./hdfs namenode -format

初始化只需要一次就可以,多次格式化会导致namenode无法启动
如果出现namenode无法启动的情况,则需要删除home/hadoop/tmp/data/namenode/current目录

九、启动

cd $HADOOP_HOME/sbin
./start-dfs.sh

验证是否启动成功一:

$jps
6150 DataNode
5963 NameNode
6368 SecondaryNameNode
6493 Jps

验证是否启动成功二:

打开浏览器
输入localhost:9870进入Hadoop web页面

十、Yarn配置启动

配置好yarn之后

cd $HADOOP_HOME/sbin
./start-yarn.sh

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小桥流水78/article/detail/804422
推荐阅读
相关标签
  

闽ICP备14008679号