我正在研究新的GridGain发行版的改进,并想知道GridGain 6如何处理多个作业的任务。
考虑一下这样一种情况,即任务产生了大量的工作(数十万)。在GridGain 4中,我们观察到作业在节点上的内存中排队,可能导致“内存不足”问题。通过创建基于磁盘的队列和在作业完成时提交排队的作业,我们解决了这个问题。
可以(如何?)GridGain 6处理这种情况,有什么具体的建议吗?我看到有一个流API可用,但这可以处理我们的情况。
谢谢
发布于 2014-04-23 00:46:17
我认为您需要利用GridComputeTaskContinuousMapper类,它允许您在一个任务中拥有固定数量的优秀作业,然后在其他作业完成后发出新作业。
看看ComputeContinuousMapperExample随GridGain提供的版本(也可以在GitHub上找到)。
https://stackoverflow.com/questions/23228277
复制相似问题