羊村懒王

这个屌丝很懒，什么也没留下！

热门标签

HADOOP(3.3.2)安装_hadoop-3.3.2.tar.gz

作者：羊村懒王 | 2024-04-20 22:16:33

踩

hadoop-3.3.2.tar.gz

1、单机安装

(1)、下载

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz

(2)、解压

tar -zvxf hadoop-3.3.2.tar.gz

(3)、创建用户hadoop

useradd hadoop

(4)、修改hadoop密码

passwd hadoop

(5)、创建目录/soft

mkdir /soft

(6)、移动hadoop-3.3.2到/soft目录

mv hadoop-3.3.2 /soft/

(7)、修改/soft目录属组

chown -R hadoop:hadoop /soft

(8)、使用hadoop用户登录

su – hadoop

(9)、设置java环境变量，修改/soft/hadoop-3.3.2/etc/hadoop/hadoop-env.sh文件

export JAVA_HOME=/usr/java

(10)、运行hadoop示例

cd /soft/ hadoop-3.3.2

mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar grep input output 'dfs[a-z.]+'

cat output/*

2、伪分布式

Hadoop可以运行在一个单节点的伪分布模式,每个Hadoop守护进程运行在一个单独的Java进程。

(1)、修改etc/hadoop/core-site.xml文件

vi etc/hadoop/core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

(2)、修改etc/hadoop/hdfs-site.xml文件

vi etc/hadoop/hdfs-site.xml

<name>dfs.replication</name>

</property>

</configuration>

(3)、配置免密登录

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

使用ssh localhost不用输入密码

(4)、格式化文件系统

bin/hdfs namenode -format

(5)、启动NameNode和DataNode

sbin/start-dfs.sh

(6)、浏览器访问NameNode

http://localhost:9870/

如果不是本机，把localhost修改成机器ip

(7)、创建hdfs文件系统目录/user/hadoop

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/hadoop

通过网页http://localhost:9870/查看

在文本框中输入/，点击Go按钮查看刚才创建的目录

(8)、创建文件目录input，拷贝文件到该目录

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input

(9)、运行hadoop示例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar grep input output 'dfs[a-z.]+'

(10)、查看运行结果

A、拷贝hdfs文件到本地查看

bin/hdfs dfs -get output output

cat output/*

B、或直接在hdfs查看

bin/hdfs dfs -cat output/*

(11)、停止NameNode和DataNode

sbin/stop-dfs.sh

(12)、如果需要运行在YARN上

a、修改etc/hadoop/mapred-site.xml文件

vi etc/hadoop/mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.application.classpath</name>

<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>

</property>

</configuration>

b、修改etc/hadoop/yarn-site.xml文件

vi etc/hadoop/yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>

</property>

</configuration>

c、启动ResourceManager和NodeManager

sbin/start-yarn.sh

d、通过浏览器查看

http://localhost:8088/

e、运行一个MapReduce任务

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar grep input output 'dfs[a-z.]+'

注意：如果没有启动NameNode和DataNode参照前面启动，运行之前先删除输出目录，删除时，如果出现没有权限修改/etc/hadoop/core-site.xml文件添加如下属性

<name>hadoop.http.staticuser.user</name>

<value>hadoop</value>

</property>

然后再重新启动NameNode和DataNode

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/459657