YARN Fair Scheduler批量分配功能调优总结

private synchronized void attemptScheduling(FSSchedulerNode node) {
  if (rmContext.isWorkPreservingRecoveryEnabled()
      && !rmContext.isSchedulerReadyForAllocatingContainers()) {
    return;
  }

  // Assign new containers...
  // 1. Check for reserved applications
  // 2. Schedule if there are no reservations

  // 获取这个节点上预留的application
  FSAppAttempt reservedAppSchedulable = node.getReservedAppSchedulable();
  if (reservedAppSchedulable != null) { //如果这个节点上已经有reservation
    Priority reservedPriority = node.getReservedContainer().getReservedPriority();
    
    /**
     * 之前有预留，不满足条件则释放
     * 结合本地松弛特性，判断这个预留资源的应用是否有任何一个请求在这个节点上、在节点所在的机架上、在任意机器上运行：
     * 1、如果该application在任意机器上或者该节点所在机架上的container需求已经为0，则释放预留的资源
     * 2、如果该application在该节点没有container的需求，则释放预留的资源
     * 3、如果该application在该节点有container的需求，但是该节点总资源量小于container需要的资源量，则释放预留的资源
     */
    if (!reservedAppSchedulable.hasContainerForNode(reservedPriority, node)) {
      // Don't hold the reservation if app can no longer use it
      LOG.info("Releasing reservation that cannot be satisfied for application "
          + reservedAppSchedulable.getApplicationAttemptId()
          + " on node " + node);
      //如果这个被预留的container已经不符合运行条件，就没有必要保持预留了，直接取消预留，让出资源
      reservedAppSchedulable.unreserve(reservedPriority, node);
      reservedAppSchedulable = null;
    } else {
      // Reservation exists; try to fulfill the reservation
      if (LOG.isDebugEnabled()) {
        LOG.debug("Trying to fulfill reservation for application "
            + reservedAppSchedulable.getApplicationAttemptId()
            + " on node: " + node);
      }
      //对这个已经进行了reservation对节点进行节点分配，当然，有可能资源还是不足，因此还将处于预定状态
      node.getReservedAppSchedulable().assignReservedContainer(node);
    }
  }
   /**
    * 这个节点还没有进行reservation，则尝试进行container分配 
    */
  if (reservedAppSchedulable == null) { 
    // No reservation, schedule at queue which is farthest below fair share
    int assignedContainers = 0;
    while (node.getReservedContainer() == null) { //如果这个节点没有预留的container信息，那么，就尝试给这个节点分配container
      boolean assignedContainer = false;
      //尝试进行container的分配，并判断是否完全没有分配到并且也没有reserve成功
      //如果分配到了资源，或者预留到了资源，总之不是none
      if (!queueMgr.getRootQueue().assignContainer(node).equals(
          Resources.none())) {
        assignedContainers++;
        assignedContainer = true;
      }
      // 如果分配container失败，则结束本次分配
      if (!assignedContainer) { break; }
      // 如果没有开启批量分配特性，则结束本次分配
      if (!assignMultiple) { break; }
      // 如果开启了批量分配特性，且已分配的container数量大于每次最多分配的container数量，则结束本次分配，否则一直尝试分配，一直分配可能会出现在该节点上预留资源
      if ((assignedContainers >= maxAssign) && (maxAssign > 0)) { break; }
    }
  }
  // 更新队列的metric信息
  updateRootQueueMetrics();
}