赞
踩
Win10 64位
hadoop 3.1.3
jdk1.8
相关软件包下载:
https://pan.xunlei.com/s/VNuqNdT7YR7EDhROLsrHgjWoA1?pwd=mxry# 提取码:mxry
二、安装 JDK1.8
1. 解压 jdk1.8.0_131.zip 到非中文目录
2. 配置jdk环境变量
(1)创建系统变量 JAVA_HOME ,变量值为jdk1.8.0_131.zip解压目录
(2) 创建系统变量 CLASSPATH,变量值为:
.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
(3) 在path变量中添加 JDK 的 bin 路径,变量值为:
%JAVA_HOME%\jre\bin;%JAVA_HOME%\bin;
(4) 进入cmd,输入命令 java -version 查看 jdk 是否安装成功
三、安装 hadoop
把下载的hadoop-3.1.3.tar.gz压缩包解压到自己要安装的位置
(1)创建系统变量 HADOOP_HOME,变量值为解压的目录
(2)在path变量中添加 hadoop的 bin 和 sbin 路径
%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
进入cmd,输入命令hadoop version查看hadoop是否安装成功
四、配置 hadoop
1. 进入hadoop-3.1.3目录,创建 data 文件夹
(1)配置文件core-site.xml,添加
- <configuration>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://localhost:9000</value>
- </property>
- </configuration>
(2)编辑文件hdfs-site.xml,添加
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>/D:/hadoop313/hadoop-3.1.3/data/namenode</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>/D:/hadoop313/hadoop-3.1.3/data/datanode</value>
- </property>
- </configuration>
这里要把两个“<value>”改成自己hadoop安装的地址。
(3)编辑文件mapred-site.xml,添加
- <configuration>
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- </configuration>
(4)编辑文件yarn-site.xml,添加
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration>
4. 进入hadoop-3.1.3\sbin目录,修改 start-yarn.cmd的yarn路径
此处是为了解决电脑中安装过node.js的重名命令yarn,所以在运行hadoop的yarn的时候需要制定其yarn路径,打开start-yarn.cmd文件,修改其yarn路径,代码如下:
- @rem start resourceManager
- start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn resourcemanager
- @rem start nodeManager
- start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn nodemanager
- @rem start proxyserver
- @rem start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn
5. 解压之前下载的apache-hadoop-3.1.3-winutils-master.zip
复制bin里面的文件
覆盖到 hadoop-3.1.3\bin 中
6. 进入hadoop-3.1.3\share\hadoop\yarn\timelineservice,复制一份 hadoop-yarn-server-timelineservice-3.1.3.jar 到 hadoop-3.1.3\share\hadoop\yarn
复制一份 hadoop-yarn-server-timelineservice-3.1.3.jar
7. 在 cmd 命令控制台输入hdfs namenode -format 格式化节点
8.在cmd中执行命令 start-all.cmd 启动hadoop
在 cmd 执行 jps 查看启动成功
(1)浏览器访问 http://localhost:9870
(2)浏览器访问http://localhost:8088
至此,安装结束!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。