hdfs 副本数问题_mapreduce.client.submit.file.replication missing r

作者：Gausst松鼠会 | 2024-03-07 11:49:21

踩

mapreduce.client.submit.file.replication missing replicas

MapReduce的临时路径参数yarn.app.mapreduce.am.staging-dir

MapReduce有一个设置临时目录副本数的参数mapreduce.client.submit.file.replication=10。查阅资料这个参数的作用是，当集群规模比较大，且启动的map和reduce数量较多时，可充分利用数据本地性这一特性提高性能。

解决方法：mapreduce.client.submit.file.replication=10（默认值）导致的问题。修改这个参数的值小于DataNode节点个数，使副本可以全部落盘。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/205450