文章/答案/技术大牛

发布

社区首页 >问答首页 >分配多个简单网络任务的解决方案？

问分配多个简单网络任务的解决方案？
EN

Stack Overflow用户

提问于 2010-05-01 14:11:30

回答 1查看 138关注 0票数 5

我想创建一种分布式设置，以便在生产环境中运行大量小型/简单的REST web查询。对于从节点执行的每5-10个相关查询，我将生成非常少量的派生数据，这些数据需要存储在标准关系数据库(如PostgreSQL)中。

针对这种类型的问题集构建了哪些平台？其性质、数据大小和数量似乎与Hadoop的思维方式相矛盾。还有更多基于网格的架构，比如我已经提到过的Condor和Sun grid Engine。我不确定这些平台是否有从错误中恢复的功能(检查作业是否成功)。

我真正想要的是一个FIFO类型的队列，我可以向其中添加作业，最终结果是我的数据库得到更新。

对最适合这项工作的工具有什么建议吗？

回答已采纳

发布于 2010-05-01 16:23:19

你有没有看过Celery

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/2749078

复制

相似问题

问分配多个简单网络任务的解决方案？EN