【Hadoop】MapReduce Job Files_mapreduce.job.classpath.files

作者：小舞很执着 | 2024-07-24 15:43:59

踩

mapreduce.job.classpath.files

Hadoop运行一个MapReduce Job后，JobTracker和TaskTracker都需要创建/维护一系列的文件以便运行/管理/监控job。其中，有部分job files存储在HDFS从而可以分发到各个TT，有部分存储在JT和TT本地。

JobTracker Files

下表总结了几种主要的job file：

FS	Location Property	Child Directory	Directory File List	File Type
HDFS	mapreduce.jobtracker.staging.root.dir	<userId>/.staging/<jobId>	job.xml job.jar job.split job.splitmetainfo	Temporary
HDFS	mapred.system.dir	<jobId>

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小舞很执着/article/detail/875603