问关于高性能流数据处理的问题

EN

为什么要使用单独的队列？分配工作的通常方法是有一个共享队列，所有的工作者都从这个队列中读取。在java中，你可以使用一个共享的BlockingQueue很容易地做到这一点。这样，作业可以更均匀地分布(如果工作繁忙，则不会将作业从队列中拉出)。在您的策略中，缓慢的工作队列可能会导致积压。为了防止队列溢出，您可以设置队列的最大大小，然后生产者将在您的积压工作变得太大时暂停。

你提到你希望整个过程进行得更快。虽然上面的建议可能有帮助，也可能没有帮助，但真正解决问题的唯一方法是在分析器下运行系统，并查看瓶颈在哪里(很多时候，它并不是您认为的那样)。否则，您可能会花费大量时间来优化最终无济于事的代码。对于java (netbeans，jvisualvm，eclipse)和c++ (valgrind)，有很多很好的免费分析器。java的一个很棒的非免费工具是yourkit java profiler。

是否每个处理线程在处理完一条消息后都会写入共享对象？这可能会造成瓶颈。在写入共享对象之前，尝试在每个线程中累积一些临时结果。