热门标签
热门文章
- 1通过pycharm创建Django新项目_pycharm创建django app
- 2GitHub的原理及应用详解（一）
- 3word中装订线位置_Word教程：文档”双面打印“全攻略，解决打印难题！
- 4使用SwitchHosts和GitHub520自动更新 github.com的hosts_switchhosts 自动更新google地址
- 5初阶数据结构之双向链表详解
- 6Android Studio 解决编译报错 Could not download aapt2-windows.jar
- 7堆排序
- 8二分查找最坏查找次数_快速入门二分查找
- 9NLP学习笔记(四) Seq2Seq基本介绍_seq2seq模型说的时间步是什么意思
- 10初学者必须弄懂的一些基本FPGA设计概念（1）_fpga 设计
当前位置: article > 正文
修改hdfs-site.xml配置文件
作者：IT小白 | 2024-05-27 20:53:28
赞
踩
修改hdfs-site.xml
前言
配置Hadoop的主要5个文件
| 序号 | 配置文件名 | 配置对象 | 主要内容 |
|---|---|---|---|
| 1 | hadoop-env.sh | hadoop运行环境 | 用来定义hadoop运行环境相关的配置信息 |
| 2 | core-site.xml | 集群全局参数 | 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 |
| 3 | hdfs-site.xml | HDFS | 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 |
| 4 | mapred-site.xml | Mapreduce参数 | 包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等 |
| 5 | yarn-site.xml | 集群资源管理系统参数 | 配置ResourceManager ，nodeManager的通信端口，web监控端口等 |
hdfs-site.xml最重要的参数及其解释如下：
| No. | 参数名 | 默认值 | 参数解释 |
|---|---|---|---|
| 1 | dfs.namenode.secondary.http-address | 0.0.0.0:50090 | 定义HDFS对应的HTTP服务器地址和端口 |
| 2 | dfs.namenode.name,dir | file://${hadoop.tmp.dir}/dfs/name | 定义DFS的名称节点在本地文件系统的位置 |
| 3 | dfs.datanode.data.dir | file://${hadoop.tmp.dir}/dfs/data | 定义DFS数据节点存储数据块时存储在本地文件系统的位置 |
| 4 | dfs.replication | 3 | 缺省的块复制数量 |
| 5 | dfs.webhdfs.enabled | true | 是否通过http协议读取hdfs文件，如果选是，则集群安全性较差 |
本小节修改dfs.replication参数为例
第一步：
修改前
修改后
dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。
第二步：
保存退出
进阶
通过hadoop官方网址查询core-site.xml 配置信息，可以了解最新的全部的core-site.xml 配置信息，而且包括一些过时的定义标识，从而更好地维护您的集群。
快速链接
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/633936
推荐阅读
相关标签
