Windows本地安装Hadoop_hadoop windows安装
赞
踩
0x00 文章内容
- 下载并解压
- 配置执行环境
0x01 下载并解压
1. 下载Hadoop安装包
a. 此步骤略过
2. 解压Hadoop安装包
a. 如果你的Win系统当前用户不是管理员用户，为了保险起见，需要“以管理员身份运行”打开你的解压软件，然后用其解压Hadoop安装包。
此处路径为D:\software_win\，不然会多一层文件夹。
b. 本教程解压的路径为：D:\software_win\hadoop-2.7.5
0x02 配置执行环境
1. 配置环境变量
步骤与安装JAVA时一样，如果不会那就真的太悲催了！传送门：JDK8的安装与配置（win版本）
a. 配置环境变量HADOOP_HOME
b. 将HADOOP_HOME/bin配置到Path中
2. 拷贝相关文件到相应目录
a. 将hadoop.dll、libwinutils.lib以及winutils.exe三个文件放到HADOOP_HOME/bin中
b. 此三个文件获取途径：
- 软件下载链接：Windows本地安装Hadoop所需文件.zip
- 联系博主获取
0x03 配改配置文件
1. 修改core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<description>表示HDFS的基本路径</description>
</property>
- 1
- 2
- 3
- 4
- 5
提示：以下的配置已被表示为过期（ name 标签配置有区别）：
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
- 1
- 2
- 3
- 4
2. 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/software_win/hadoop-2.7.5/tmp/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/software_win/hadoop-2.7.5/tmp/datanode</value>
</property>
</configuration>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
PS：
1、注意 configuration 标签。
2、可以将 dfs.namenode.name.dir 和 dfs.datanode.data.dir 路径修改一下。
3、 配置说明：dfs.permissions.enabled = true
如果是 true，则打开前文所述的权限系统。
如果是 false，权限检查就是关闭的，但是其他的行为没有改变。
0x04 格式化并启动HDFS
1. 格式化HDFS
进入 bin 目录，执行：
hdfs namenode -format
- 1
2. 启动HDFS
进入 sbin 目录，执行：
start-dfs.cmd
- 1
执行之后，会弹出两个窗口：
注意：不可以关掉启动之后打开的两个窗口！
0x05 检验结果
1. 查看WebUI页面
2. 执行简单的HDFS命令
3. 直接在执行结果
说明：此操作为在IDEA中操作，如不相关，可以不看！
a. 发现在IDEA中执行作业，控制台已经不会再报错。如果还是报错，请重启一下电脑！应该就可以了，本人也是重启了之后才行的。
0xFF 总结
- 此教程在平时测试中会用到，而且在本博主的实战项目案例中也有用到：网站用户行为分析项目之会话切割（二）
- 当然，不配置其实也可以的，不碍事，就是平时可能会麻烦一点而已。
- 如果配置后还不行，请重启一下电脑，应该就行了。
作者简介：邵奈一
全栈工程师、市场洞察者、专栏编辑
| 公众号 | 微信 | 微博 | CSDN | 简书 |
福利：
邵奈一的技术博客导航
邵奈一 原创不易，如转载请标明出处。
