和学妹深入探讨CountDownLatch和CyclicBarrier的设计哲学

最近监控发现对账系统最近越来越慢，领导急了，开始询问我能优化一下性能吗。我深入看了对账系统的业务后，发现还是挺简单的：

• 用户在app下单，会生成电子订单，保存在订单库
• 物流生成派送单给用户发货，派送单保存在派送单库
• 为避免漏派或重复派，系统每天还要校验是否存在异常订单
• 系统流程图

代码如下：

while(存在未对账订单){
  // 1.查询未对账订单
  pos = getPOrders();
  // 2.查询派送单
  dos = getDOrders();
  // 3.执行对账操作
  diff = check(pos, dos);
  // 4.差异写入差异库
  save(diff);
} 

考虑并行

优化系统性能，要找到系统瓶颈。

目前的系统，由于订单量和派送单量巨大，所以查询未对账订单getPOrders()和查询派送单getDOrders()较慢，如何优化呢？ 目前对账系统是单线程处理，图形化后是下图这个样子。串行化系统，优化性能首先想到的是能否利用多线程并行处理。

• 系统单线程运行性能

所以，很容易看出该对账系统的瓶颈：查询未对账订单getPOrders()和查询派送单getDOrders()是否可并行呢？ 当然。因为这俩操作并无先后顺序依赖。这俩最耗时的操作并行后，执行过程如下

• 系统并行运行性能

对比单线程的执行，优化效果很明显。

如何用代码实现呢？

创建俩线程t1、t2，并行执行getPOrders()、getDOrders()。 主线程需等待t1、t2执行完，才执行check()、save()，所以要调用 t1.join()、t2.join()实现等待，当t1、t2退出时，调用t1.join()、t2.join()的主线程就会从阻塞态被唤醒，开始执行check()、save()。

while(存在未对账订单){
  // 查询未对账订单
  Thread T1 = new Thread(()->{
    pos = getPOrders();
  });
  T1.start();
  // 查询派送单
  Thread T2 = new Thread(()->{
    dos = getDOrders();
  });
  T2.start();
  // 等待T1、T2结束
  T1.join();
  T2.join();
  // 执行对账操作
  diff = check(pos, dos);
  // 差异写入差异库
  save(diff);
} 

用CountDownLatch实现线程等待

这样优化就够了吗？ 你发现，while循环每次都会创建新的线程，而创建线程是个性能开销很大的操作。最好能复用线程，所以想到使用线程池了吧！

线程池优化代码： 但有个问题，主线程如何知道getPOrders()、getDOrders()何时执行完呢？

前面主线程通过调用t1、t2的join()等待t1、t2的退出，但在线程池方案中，线程根本就不会退出，所以join()方法也就失效了。

// 创建2个线程的线程池
Executor executor = Executors.newFixedThreadPool(2);
while(存在未对账订单){
  // 查询未对账订单
  executor.execute(()-> {
    pos = getPOrders();
  });
  // 查询派送单
  executor.execute(()-> {
    dos = getDOrders();
  });
  
  /* 等待 */
  
  // 执行对账操作
  diff = check(pos, dos);
  // 差异写入差异库
  save(diff);
}   

如何解决呢？最直接的就是弄个计数器，初始值置2，当执行完

pos = getPOrders();

后，计数器-1。 执行完

dos = getDOrders();

后，也计数器-1。 在主线程，等待计数器0，这时说明这俩操作都执行完了。 而等待计数器0，就是一个条件变量，用管程实现就很简单。

还好JUC已经帮我们写好了这套逻辑：CountDownLatch。 使用代码如下：

Executor executor = Executors.newFixedThreadPool(2);
while(存在未对账订单){
  // 计数器值，初始为2
  CountDownLatch latch = new CountDownLatch(2);

  executor.execute(()-> {
    pos = getPOrders();
    // 计数器-1
    latch.countDown();
  });
  executor.execute(()-> {
    dos = getDOrders();
    // 计数器-1
    latch.countDown();
  });
  
  // 等待两个查询操作结束(计数器 == 0)
  latch.await();

  diff = check(pos, dos);
  save(diff);
}

还能再优化吗？毕竟程序员的追求是永无止境的。

我们已经将两个查询并行了，但这俩查询和check()、save()之间还是串行。 显然，这俩查询操作和对账操作也可以并行，即在执行对账操作时，可以同时去执行下一轮的查询：

• 完全并行运行性能

这到底是怎么做到的呢？

两次查询操作能够和对账操作并行，对账操作还依赖查询操作的结果，有点生产者-消费者的味道了，俩查询是生产者，对账是消费者。 生产者-消费者模型，那就得有个队列，保存生产者生产的数据，而消费者从队列中消费数据。

针对对账项目，可以设计两个队列，并且两个队列的元素之间还有对应关系：

• 订单查询，将订单查询结果插入订单队列
• 派送单查询，将派送单插入派送单队列

这俩队列的元素之间一一对应。

• 双队列

为啥设计为两个队列呢？

对账操作每次从订单队列、派单队列各取出一个元素，然后对这俩元素执行对账，数据一定不会乱掉。

如何用双队列实现完全并行呢？

最简单的设计：

• t1执行订单查询，t2执行派单查询
• 当t1、t2都各自生产完1条数据时，通知t3执行对账

看上去想法很简单，但其实还需要t1、t2工作步调一致，不能一个跑太快，一个跑太慢，只有这样才能做到各自生产完一条数据时，通知t3。

所以难点是：t1、t2只有都生产完一条数据时，才能一起向下执行，即t1、t2要互相等待，步调一致。 当t1、t2都生产完一条数据时，还要通知t3执行对账。

• 同步执行示意图

这又该如何用代码实现呢？

你依然可以利用一个计数器解决刚才说的难点，计数器初始为2，t1、t2生产完一条数据都将计数器-1。 若计数器：

• ＞0，则t1或t2等待
• == 0，则通知t3，并唤醒等待的t1或t2，同时，将计数器重置为2，这样t1、t2生产下一条数据时，就可以继续使用该计数器

JUC已经提供这种场景的工具类：CyclicBarrier。

线程T1负责查询订单，当查出一条时，调用 barrier.await() 来将计数器减1，同时等待计数器变成0；线程T2负责查询派送单，当查出一条时，也调用 barrier.await() 来将计数器减1，同时等待计数器变成0；当T1和T2都调用 barrier.await() 的时候，计数器会减到0，此时T1和T2就可以执行下一条语句了，同时会调用barrier的回调函数来执行对账操作。

非常值得一提的是，CyclicBarrier的计数器有自动重置的功能，当减到0的时候，会自动重置你设置的初始值。这个功能用起来实在是太方便了。

// 订单队列
Vector<P> pos;
// 派送单队列
Vector<D> dos;
Executor executor = Executors.newFixedThreadPool(1);

// 当计数器减至0，调用回调方法
final CyclicBarrier barrier = new CyclicBarrier(2, ()->{
    executor.execute(()->check());
  });
  
void check(){
  P p = pos.remove(0);
  D d = dos.remove(0);
  diff = check(p, d);
  save(diff);
}
  
void checkAll(){
  // 循环查询订单库
  Thread T1 = new Thread(()->{
    while(存在未对账订单){
      // 查询订单库
      pos.add(getPOrders());
      // 等待
      barrier.await();
    }
  });
  T1.start();  
  // 循环查询运单库
  Thread T2 = new Thread(()->{
    while(存在未对账订单){
      // 查询运单库
      dos.add(getDOrders());
      // 等待
      barrier.await();
    }
  });
  T2.start();
}

总结

• CountDownLatch 主要用来解决一个线程等待多个线程的场景。 CountDownLatch的计数器是不能复用。一旦计数器减至0，再有线程调用await()，该线程会直接通过。
• CyclicBarrier 一组线程之间互相等待。CyclicBarrier的计数器是可复用的，可自动重置，一旦计数器减至0，会自动重置到你设置的初始值。 CyclicBarrier还可设置回调方法。