我们在带宽为1千兆位每秒的集群中工作,我们使用java套接字在集群中的节点之间执行一些数据传输,如广播和混洗(集群的节点交换数据),在瞬间我们可能有多个同时传输。here is an illustration
为了最大限度地提高数据处理能力,集群中打开的套接字连接的最大数量是多少?我们如何管理它们?
发布于 2018-04-29 10:31:07
群集中打开的套接字连接的最大数量是多少,以最大限度地提高数据处理能力?
计算出最优的套接字数量将取决于大量的因素,其中许多因素您可能无法预测...更不用说量化了。
以及我们如何管理它们?
一种方法是在主机和每个工作者之间创建一个套接字,并在套接字上多路传输数据。另一种可能是具有固定大小或可变大小的套接字池。
我认为你最好的方法是用不同的方法,并开发一些基准测试,让你决定哪种管理策略效果最好,并对它们进行调整。
我也认为你不太可能在StackOverflow上得到这类问题的明确答案。这似乎是一个研究问题,而不是一个简单的编程/软件工程问题。你可能会在数学或计算机科学的StackExchange站点上找到答案。然而,基于数学或CS理论的解决方案将需要精确的(即数学!)问题的表述。比你的图表更精确/严谨的东西。
https://stackoverflow.com/questions/50085530
复制