Job的任务执行流程之TaskCleanup_cleanup task

      任何一个作业在Hadoop集群中执行主要包括四个阶段：setup、map、reduce、cleanup，但在这四个阶段都出现任务实例在TaskTracker节点执行失败的情况。当一个任务实例在TaskTracker节点的JVM中执行时除了成功执行意外，还有可能出现一些异常情况：1).在JVM中执行失败；2).JVM进程被操作系统stop；3).任务实例被JobTracker节点要求kill；这些异常情况都会造成该任务实例执行的失败，从而使得该任务进入FAILED、FAILED_UNCLEAN、KILLED_UNCLEAN等三种状态中的某一种。这里就有一个问题了，一个任务实例失败时到底会进入哪一种状态？这其实很好判断：

1).如果一个任务实例在JVM中运行时出现异常或错误而无法再继续运行，同时在调用了该任务所属作业对应的OutputCimmitter输出提交器的abortTask()方法之后离开JVM的话，这个任务实例会进入FAILED状态；

2).如果一个任务实例在JVM中运行时出现异常或错误而无法再继续运行，同时在没有调用该任务所属作业对应的OutputCimmitter输出提交器的abortTask()方法就离开了JVM的话，这个任务实例会进入FAILED_UNCLEAN状态；

3).如果一个任务实例在JVM中正常运行时突然被停止了(如：任务实例所在的JVM进程被OSstop或者被TaskTracker节点强制命令停止)，此时还来不起调用该任务所属作业对应的输出提交器OutputCimmitter的abortTask()方法，所以它会进入KILLED_UNCLEAN状态。

本文将主要围绕JobTracker节点对处于FAILED_UNCLEAN和KILLED_UNCLEAN状态的任务实例的处理来详细地展开讲解。

    TaskTracker在任务实例停止执行之后，就会把这个任务实例对应的状态报告给JobTracker节点来处理，当然，前面说过，JobTracker节点是不会直接处理任何任务实例的状态报告的，而是交给对应的JobInProgress来处理。对于处于FAILED_UNCLEAN和KILLED_UNCLEAN状态的任务实例，JobInProgress会将他们存储在对应的待清理的任务队列中，当然，一个作业主要包含两种这样的任务队列，一种存储Map型的任务实例，另一种存储Reduce型的任务实例，然后它会交给合适的TaskTracker节点来执行对该任务的清理操作。这种清理工作就是前面所说的TaskCleanup任务。这个处理过程是是很简单的，对应的源代码如下：

class JobInProgress {
 
...
 
   public synchronized void updateTaskStatus(TaskInProgress tip, TaskStatus status) {
 
      ...
     if (state == TaskStatus.State.FAILED_UNCLEAN || state == TaskStatus.State.KILLED_UNCLEAN) {
        tip.incompleteSubTask(taskid, this.status);
        // add this task, to be rescheduled as cleanup attempt
        if (tip.isMapTask()) {
            mapCleanupTasks.add(taskid);
        } else {
          reduceCleanupTasks.add(taskid);
        }
        // Remove the task entry from jobtracker
        jobtracker.removeTaskEntry(taskid);
      }
     ...
  } 
 
...
 
}

public Task obtainTaskCleanupTask(TaskTrackerStatus tts, boolean isMapSlot) throws IOException {
    if (!tasksInited.get()) {
      return null;
    }
    
    synchronized (this) {
      if (this.status.getRunState() != JobStatus.RUNNING || jobFailed || jobKilled) {
        return null;
      }
      
      String taskTracker = tts.getTrackerName();
      if (!shouldRunOnTaskTracker(taskTracker)) {
        return null;
      }
      
      TaskAttemptID taskid = null;
      TaskInProgress tip = null;
      if (isMapSlot) {
        if (!mapCleanupTasks.isEmpty()) {
          taskid = mapCleanupTasks.remove(0);
          tip = maps[taskid.getTaskID().getId()];
        }
      } else {
        if (!reduceCleanupTasks.isEmpty()) {
          taskid = reduceCleanupTasks.remove(0);
          tip = reduces[taskid.getTaskID().getId()];
        }
      }
      
      if (tip != null) {
        return tip.addRunningTask(taskid, taskTracker, true);
      }
      
      return null;
    }
    
  }