【大数据清洗和预处理】1.6Hadoop集群配置（学习笔记）_虚拟机中hadoop集群下如何进行数据清洗

作者：繁依Fanyi0 | 2024-05-27 20:32:08

踩

虚拟机中hadoop集群下如何进行数据清洗

1、在master虚拟机上配置hadoop
（1）编辑Hadoop环境配置文件 - hadoop-env.sh
执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录

执行命令：vim hadoop-env.sh，添加三条环境变量配置

存盘退出后，执行命令source hadoop-env.sh，让配置生效

查看三个配置的三个环境变量

（2）编辑Hadoop核心配置文件 - core-site.xml
执行命令：vim core-site.xml

由于配置了IP地址主机名映射，因此配置HDFS老大节点可用hdfs://master:9000，否则必须用IP地址hdfs://192.168.1.101:9000

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/633845