- 1Python3实现三菱PLC串口通讯(附源码和运行图)
- 2linux环境下使用pycharm安装额外的包（numpy，pandas）出错：No module named ‘distutils.cmd‘_no module named 'distutils.cmd
- 3VSCODE 提示Please install clang or check configuration ‘clang.executable‘_please install clang or check configuration `clang
- 4队列的几种实现方式_队列的实现
- 5从AI 大模型到 AGI 通用人工智能 “世界模型”的演进路径_agi发展路径
- 6【融合ChatGPT等AI模型】Python-GEE遥感云大数据分析、管理与可视化及多领域案例应用_geemap是什么
- 7SparkMLlib机器学习库与应用
- 8【python 的各种模块】(8) 在python使用matplotlib和wordcloud库来画wordcloud词云图_wordclound背景怎么设置
- 9大数据毕业设计基于Hadoop的微博网络舆情分析系统_舆情分析系统 毕业设计
- 10mybatis批量插入时判断是否存在 如果存在就更新或忽略_mybatis批量插入时校验
hadoop的hadoop.tmp.dir安装时一定要更改
赞
踩
hadoop的hadoop.tmp.dir安装时一定要更改
hadoop.tmp.dir 属性确保了 HDFS 元数据的存储位置，其中包含了一些关键的文件，如：
fsimage 文件：这是 HDFS 的文件系统镜像，记录了整个文件系统命名空间的状态。它包含所有文件、目录、权限、块位置等重要信息。fsimage 文件的路径通常是 ${hadoop.tmp.dir}/dfs/name/current/fsimage。
edits 日志文件：这是 NameNode 的操作日志，记录了对文件系统进行的所有修改操作，如创建、删除、重命名文件等。edits 日志文件的路径通常是 ${hadoop.tmp.dir}/dfs/name/current/edits。
version 文件：该文件记录了 NameNode 的版本信息，用于向后兼容性和识别文件系统的状态。version 文件的路径通常是 ${hadoop.tmp.dir}/dfs/name/current/VERSION。
除了这些文件，hadoop.tmp.dir 可能还包含其他与 HDFS 元数据相关的文件，具体取决于 Hadoop 的配置和运行情况。
hadoop.tmp.dir 配置的是Hadoop临时目录，比如HDFS的NameNode数据默认都存放这个目录下，查看*-default.xml 等默认配置文件，就可以看到很多依赖 h a d o o p . t m p . d i r 的配置。默认的 h a d o o p . t m p . d i r 是 / t m p / h a d o o p − {hadoop.tmp.dir} 的配置。 默认的hadoop.tmp.dir 是/tmp/hadoop- hadoop.tmp.dir的配置。默认的hadoop.tmp.dir是/tmp/hadoop−{user.name} ,此时有个问题就是 NameNode 会将 HDFS 的元数据存储在这个/tmp目录下，如果操作系统重启了，系统会清空 /tmp 目录下的东西，导致NameNode元数据丢失，是个非常严重的问题，所有我们应该修改这个路径。
