问分布式队列和分布式计算平台有什么区别，如何选择？

EN

这在很大程度上取决于你的“处理”的性质。这里适用的一些维度包括：

1. 是相互独立的记录，还是需要某种形式的聚合？也就是说:你需要一些数据组合在一起吗？比方说，所有事务都来自单个用户帐户。
2. 您的处理是否受CPU限制？内存限制？FileSystem绑定？
3. 什么将被持久化？你将如何持久化它？
4. 每当你看到新的数据，你需要重新计算旧的数据吗？
5. 你能丢弃数据吗？
6. is

data somewhat ordered?

1. What is

expected？

一个好的解决方案将取决于这些问题的答案(可能还有我忘记的其他问题)。例如：

1. 如果计算很简单，但存储和检索是主要关注点，那么您可能应该考虑分布式数据库，而不是您的选择。Spark可能最好的服务方式是将内容记录到分布式文件系统中，然后使用

运行批处理计算(通常应该比普通的

1. 更好)。
2. 可能不会，您可以在接收数据时使用Spark Streaming进行处理。
3. 如果顺序和一致性很重要，发布/订阅体系结构可能会更好地为您提供服务，特别是如果您的负载可能超过两台服务器的处理能力，但您的员工可以在高峰和缓慢时间赶上。

等等。那么“你是如何选择的？”是“通过仔细查看特定问题的约束，估计系统的负载需求，并选择更好地匹配这些需求的解决方案”。所有这些解决方案和框架都主导着其他解决方案和框架，这就是为什么它们都是有活力的。选择完全取决于你愿意/能够做出的权衡。

希望能有所帮助。

首先，dannyhow是对的--这不是实时处理的内容。有一本很棒的书http://www.manning.com/marz/，它讲了很多关于lambda架构的内容。

你提到的两种方式服务于完全不同的目的，并与“任务”一词的定义相联系。例如，Spark会把你为他得到的整个工作分成“任务”，但一个任务的结果对你来说是无用的，你仍然需要等待整个工作完成。您可以创建处理同一数据集的小型作业，并使用spark的缓存来加快速度。但是，您不会从分发中获得太多好处(如果它们必须一个接一个地运行)。

文件大吗？它们之间有某种程度的联系吗？如果是的话，我会选择Spark。如果否，则为分布式队列。