问基于completableFuture混合工作负载的有效处理
EN

Stack Overflow用户

提问于 2022-01-29 09:33:05

回答 1查看 58关注 0票数 1

我正在处理一个服务，它将处理大量请求，每个请求位于不同的文件中。挑战在于，处理既需要本地处理(cpu)，也需要远程(数据库)处理。数据库有休容量。数据库工作是30-80%的处理(动态，不能预先计算)。

用于commonPool的默认completionService.completeAsync使用(处理器-1)线程的池。考虑到大部分处理都在等待数据库工作，默认的commonPool未充分利用本地机器资源。

我相信使用自定义执行器，如果机器上的局部负载很高，就会有条件地暂停，这样可以改善情况。现在确定如何建立这样的执行者。有什么建议吗？是否存在提供此类代码的现有库？

对于熟悉gnu的读者来说，make -等效于基于负载限制并发处理的能力。

发布于 2022-01-29 10:45:55

我不确定我是否正确地理解了你的问题，但无论如何我还是试着回答。因此，我了解的是，您在一个固定大小的线程池上运行了大量请求，发现您的CPU利用率不足，因为这些线程经常会被阻塞，等待数据库的响应。

因此，一般来说，我认为您想要的是防止工作线程被I/O阻塞，而不是使线程池更大以补偿阻塞I/O，您应该使用非阻塞数据库驱动程序，并完全消除阻塞I/O。

对于不同的数据库，存在不同的方法。有些本地支持异步I/O，有些则通过为DB I/O维护单独的线程池来提供错觉。有些则与更高级别的抽象(如反应流 )集成。

例如，对于Redis，有一个名为生菜的替代Java驱动程序，它提供异步API和反应性API。(免责声明:本人本人并无使用生菜。)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/70903992

复制

相似问题

问基于completableFuture混合工作负载的有效处理EN