【DUBBO】 负载均衡AbstractClusterInvoker权重随机权重轮询最少活跃数一致性Hash

@Override
public Result invoke(final Invocation invocation) throws RpcException {
    // 判断当前Invoker是否被销毁，如果销毁直接抛出异常
    checkWhetherDestroyed();

    // binding attachments into invocation.
    Map<String, String> contextAttachments = RpcContext.getContext().getAttachments();
    if (contextAttachments != null && contextAttachments.size() != 0) {
        ((RpcInvocation) invocation).addAttachments(contextAttachments);
    }

    // 查找所有的invoker，即有几个节点
    List<Invoker<T>> invokers = list(invocation);

    // 通过SPI加载负载均衡的扩展。如果invoke为空，则使用默认的RandomLoadBalance；如果invoke不为空，根据invocation和第一个invoker的url选择负载均衡器
    LoadBalance loadbalance = initLoadBalance(invokers, invocation);
    RpcUtils.attachInvocationIdIfAsync(getUrl(), invocation);
    return doInvoke(invocation, invokers, loadbalance);
}


/**
 *通过SPI加载负载均衡的扩展。如果invoke为空，则使用默认的RandomLoadBalance；如果invoke不为空，根据invocation和第一个invoker的url选择负载均衡器
 */
protected LoadBalance initLoadBalance(List<Invoker<T>> invokers, Invocation invocation) {
    if (CollectionUtils.isNotEmpty(invokers)) {
        return ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(invokers.get(0).getUrl()
                .getMethodParameter(RpcUtils.getMethodName(invocation), Constants.LOADBALANCE_KEY, Constants.DEFAULT_LOADBALANCE));
    } else {
        return ExtensionLoader.getExtensionLoader(LoadBalance.class).getExtension(Constants.DEFAULT_LOADBALANCE);
    }
}

@Override
protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
    // invoker个数
    int length = invokers.size();

    // 总的权重
    int totalWeight = 0;

    // 各个invoker的权重是否一致
    boolean sameWeight = true;

    for (int i = 0; i < length; i++) {
        int weight = getWeight(invokers.get(i), invocation);
        totalWeight += weight;
        if (sameWeight && i > 0
                && weight != getWeight(invokers.get(i - 1), invocation)) {
            sameWeight = false;
        }
    }

    // 如果不是所有的invoker的权重都一样并且至少有一个invoker的权重大于0
    if (totalWeight > 0 && !sameWeight) {
        // If (not every invoker has the same weight & at least one invoker's weight>0), select randomly based on totalWeight.
        // 产生totalWeight范围内的一个随机数
        int offset = ThreadLocalRandom.current().nextInt(totalWeight);

        // 依次用offset去减各个invoker的权重，知道offset小于0
        for (int i = 0; i < length; i++) {
            offset -= getWeight(invokers.get(i), invocation);
            if (offset < 0) {
                return invokers.get(i);
            }
        }
    }

    // 如果所有的invoker的权重一样或者totalWeight=0，则随机调用一个invoker，产生一个length范围内的随机数
    return invokers.get(ThreadLocalRandom.current().nextInt(length));
}

假如A B C D这4个invoker的权重值分别如下
A: 100
B: 200
C: 300
D: 400

所以，totalWeight等于1000，加入此时产生的随机数offset为500，(500 -100 -200 -300 =-100)  < 0，所以此时返回invoker C

@Override
protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
    String key = invokers.get(0).getUrl().getServiceKey() + "." + invocation.getMethodName();
    // length 代表提供者的个数 Number of invokers
    int length = invokers.size();

    // 最大权重
    int maxWeight = 0;

    // 最小权重
    int minWeight = Integer.MAX_VALUE;

    // Invoker：该Invoker对应的权重
    final LinkedHashMap<Invoker<T>, IntegerWrapper> invokerToWeightMap = new LinkedHashMap<>();

    // 权重总和
    int weightSum = 0;

    // 找出最大权重、最小权重、总的权重
    for (int i = 0; i < length; i++) {
        int weight = getWeight(invokers.get(i), invocation);
        maxWeight = Math.max(maxWeight, weight);
        minWeight = Math.min(minWeight, weight);
        if (weight > 0) {
            invokerToWeightMap.put(invokers.get(i), new IntegerWrapper(weight));
            weightSum += weight;
        }
    }

    // sequence代表请求次数，即总共请求了多少次
    AtomicPositiveInteger sequence = sequences.get(key);
    if (sequence == null) {
        sequences.putIfAbsent(key, new AtomicPositiveInteger());
        sequence = sequences.get(key);
    }

    // 当前是第多少次调用
    int currentSequence = sequence.getAndIncrement();

    // 权重不一样，则用 当前调用次数对总的权重取模，然后轮询返回invoker。外层循环用maxWeight限制，因为当前调用次数不可能超过 maxWeight * length
    // 例如：A:100，B:200，C:300，D:400，当currentSequence=400时，这4个invoker对应的调用次数是一样的，都是100，这时候的权重比并不是 1：2：3：4
    // 当currentSequence=490的时候，ABCD对应的调用次数分别为100 130 130 130，只有当currentSequence=1000时，这时候的权重比才是 1：2：3：4
    if (maxWeight > 0 && minWeight < maxWeight) {
        int mod = currentSequence % weightSum;
        for (int i = 0; i < maxWeight; i++) {
            for (Map.Entry<Invoker<T>, IntegerWrapper> each : invokerToWeightMap.entrySet()) {
                final Invoker<T> k = each.getKey();
                final IntegerWrapper v = each.getValue();
                if (mod == 0 && v.getValue() > 0) {
                    return k;
                }
                if (v.getValue() > 0) {
                    v.decrement();
                    mod--;
                }
            }
        }
    }

    // 如果所有权重一样，就按当前调用次数对invoker长度取模
    return invokers.get(currentSequence % length);
}

假如 A:100，B:200，C:300，D:400
当currentSequence=400时，这4个invoker对应的调用次数是一样的，都是100，这时候的权重比并不是 1：2：3：4；
当currentSequence=490的时候，ABCD对应的调用次数分别为100 130 130 130，这时候的权重比并不是 1：2：3：4；
只有当currentSequence是1000的整数倍时，这时候的权重比才是 1：2：3：4；

@Override
protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
    // invoker个数
    int length = invokers.size();

    // 所有invoker中最少的活跃数
    int leastActive = -1;

    // 最少的活跃数相同的invoker个数
    int leastCount = 0;

    // 具有相同最小活跃数的invoker下标
    int[] leastIndexs = new int[length]; // The index of invokers having the same least active value (leastActive)

    // 权重总和
    int totalWeight = 0;

    // 用于判断权重是否一样
    int firstWeight = 0; // Initial value, used for comparision

    // 是否所有invoker的权重相同
    boolean sameWeight = true;

    for (int i = 0; i < length; i++) {
        Invoker<T> invoker = invokers.get(i);
        int active = RpcStatus.getStatus(invoker.getUrl(), invocation.getMethodName()).getActive(); // Active number
        int weight = invoker.getUrl().getMethodParameter(invocation.getMethodName(), Constants.WEIGHT_KEY, Constants.DEFAULT_WEIGHT); // Weight

        // 如果是第一个invoke或者找到了更小活跃数的invoker，则重置，主要就是重置这些属性的值
        if (leastActive == -1 || active < leastActive) {
            leastActive = active; // Record the current least active value
            leastCount = 1; // Reset leastCount, count again based on current leastCount
            leastIndexs[0] = i;
            totalWeight = weight;
            firstWeight = weight;
            sameWeight = true;

            // 如果找到相同最少活跃数的invoker，则累加权重，并将invoker的下标放到leastIndexs中
        } else if (active == leastActive) {
            leastIndexs[leastCount++] = i; // Record index number of this invoker
            totalWeight += weight; // Add this invoker's weight to totalWeight.
            // If every invoker has the same weight?
            if (sameWeight && i > 0 && weight != firstWeight) {
                sameWeight = false;
            }
        }
    }

    // 如果只有一个最少活跃的invoker，直接返回
    if (leastCount == 1) {
        return invokers.get(leastIndexs[0]);
    }

    // 如果有多个invoker的最小活跃数相同，则按权重随机(和随机负载均衡很像)
    if (!sameWeight && totalWeight > 0) {
        int offsetWeight = ThreadLocalRandom.current().nextInt(totalWeight);
        // Return a invoker based on the random value.
        for (int i = 0; i < leastCount; i++) {
            int leastIndex = leastIndexs[i];
            offsetWeight -= getWeight(invokers.get(leastIndex), invocation);
            if (offsetWeight <= 0)
                return invokers.get(leastIndex);
        }
    }

    // 如果所有的invoker的权重一样或者totalWeight=0，则随机调用一个invoker，产生一个length范围内的随机数
    return invokers.get(leastIndexs[ThreadLocalRandom.current().nextInt(leastCount)]);
}

public class ConsistentHashLoadBalance extends AbstractLoadBalance {
    public static final String NAME = "consistenthash";

    // 一个方法对应一个一致性hash选择器
    private final ConcurrentMap<String, ConsistentHashSelector<?>> selectors = new ConcurrentHashMap<>();

    @SuppressWarnings("unchecked")
    @Override
    protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
        String methodName = RpcUtils.getMethodName(invocation);
        String key = invokers.get(0).getUrl().getServiceKey() + "." + methodName;
        // 基于invoker集合，根据对象内存地址来定义hash值。用于判断invokers是否发生变化(比如数量上的增减)，ConsistentHashSelector保存了上一次调用生成的identityHashCode，如果发生变化，则重新生成ConsistentHashSelector
        int identityHashCode = System.identityHashCode(invokers);
        ConsistentHashSelector<T> selector = (ConsistentHashSelector<T>) selectors.get(key);
        if (selector == null || selector.identityHashCode != identityHashCode) {
            selectors.put(key, new ConsistentHashSelector<T>(invokers, methodName, identityHashCode));
            selector = (ConsistentHashSelector<T>) selectors.get(key);
        }
        return selector.select(invocation);
    }

    private static final class ConsistentHashSelector<T> {

        // 虚拟节点 key是hash值，value是Invoker
        private final TreeMap<Long, Invoker<T>> virtualInvokers;

        // 副本数，默认160
        private final int replicaNumber;

        // 调用结点HashCode
        private final int identityHashCode;

        // 参数索引数组
        private final int[] argumentIndex;

        ConsistentHashSelector(List<Invoker<T>> invokers, String methodName, int identityHashCode) {
            this.virtualInvokers = new TreeMap<Long, Invoker<T>>();
            this.identityHashCode = identityHashCode;
            URL url = invokers.get(0).getUrl();
            this.replicaNumber = url.getMethodParameter(methodName, "hash.nodes", 160);
            // 获取需要进行hash的参数数组索引，默认对第一个参数进行hash
            String[] index = Constants.COMMA_SPLIT_PATTERN.split(url.getMethodParameter(methodName, "hash.arguments", "0"));
            argumentIndex = new int[index.length];
            for (int i = 0; i < index.length; i++) {
                argumentIndex[i] = Integer.parseInt(index[i]);
            }
            for (Invoker<T> invoker : invokers) {
                // 10.9.25.36:20880
                String address = invoker.getUrl().getAddress();
                for (int i = 0; i < replicaNumber / 4; i++) {
                    // 根据md5算法为每4个虚拟结点生成一个消息摘要，摘要长为16字节128位
                    byte[] digest = md5(address + i);
                    for (int h = 0; h < 4; h++) {
                        // 将digest分为4部分(根据h的值取，一次 0-3 4-7 8-11 12-15) 并生成4个32位数，存于long中，long的高32位都为0 并作为虚拟结点的key
                        long m = hash(digest, h);
                        virtualInvokers.put(m, invoker);
                    }
                }
            }
        }

        public Invoker<T> select(Invocation invocation) {
            // 根据调用参数来生成Key
            String key = toKey(invocation.getArguments());
            // 根据这个参数生成消息摘要，返回16个字节的byte数组
            byte[] digest = md5(key);
            // 取前四个字节计算hash值，调用hash(digest, 0)，将消息摘要转换为hashCode，这里仅取0-31位来生成HashCode，调用sekectForKey方法选择结点。
            return selectForKey(hash(digest, 0));
        }

        private String toKey(Object[] args) {
            StringBuilder buf = new StringBuilder();
            for (int i : argumentIndex) {
                if (i >= 0 && i < args.length) {
                    buf.append(args[i]);
                }
            }
            return buf.toString();
        }

        private Invoker<T> selectForKey(long hash) {
            // ceilingEntry方法用来返回与该键至少大于或等于给定键对应的entry
            Map.Entry<Long, Invoker<T>> entry = virtualInvokers.ceilingEntry(hash);
            if (entry == null) {
                // 如果不存在，那么可能这个hash值比虚拟节点的最大值还大，那么取第一个，这样就形成了一个环
                entry = virtualInvokers.firstEntry();
            }
            return entry.getValue();
        }

        private long hash(byte[] digest, int number) {
            // 这里生成一个32位的正好数，若用int保存可能会产生负数，所以强转成long
            return (((long) (digest[3 + number * 4] & 0xFF) << 24)
                    | ((long) (digest[2 + number * 4] & 0xFF) << 16)
                    | ((long) (digest[1 + number * 4] & 0xFF) << 8)
                    | (digest[number * 4] & 0xFF))
                    & 0xFFFFFFFFL;
        }

        private byte[] md5(String value) {
            MessageDigest md5;
            try {
                md5 = MessageDigest.getInstance("MD5");
            } catch (NoSuchAlgorithmException e) {
                throw new IllegalStateException(e.getMessage(), e);
            }
            md5.reset();
            byte[] bytes;
            try {
                bytes = value.getBytes("UTF-8");
            } catch (UnsupportedEncodingException e) {
                throw new IllegalStateException(e.getMessage(), e);
            }
            md5.update(bytes);
            return md5.digest();
        }
    }
}