问针对大数据的Cron作业

EN

你可能会考虑在你的问题中添加一些关于你的硬件的信息，这对于希望建议你的实现有多容易扩展的人来说会有很大的不同。

如果你最终解析了数百万个链接，那么一个很大的cron任务将会变得有问题。我假设您正在执行以下操作(如果不是，您可能应该这样做)：

• 意识到当用户订阅同一个feed时，可以避免获取两次。
• 获取新的feed时，检查站点地图是否存在，该地图会告诉您更改feed的频率，并重新访问合理的interval
• Checking系统负载和内存使用率上的该值，以了解何时应该“后退”并休眠一段时间。

这减少了每小时cron产生的汗量。

如果您正在收集数百万个提要，那么您可能希望分发这些工作，这是您在设计数据库时可能需要牢记的事情。

同样，请更新您的问题，详细说明您正在使用的硬件以及您的解决方案需要扩展的规模。没有什么是“无限”的，所以请现实一点:)

我没有足够的信息来判断这个设计是好是坏，但要回答基本的问题，除非您正在对10k个问题进行非常密集的处理，否则对于每小时执行一次cron作业来说，这应该是微不足道的。

更多关于如何处理提要的信息，特别是流程如何根据拥有提要的用户数量和每个用户的提要数量进行扩展，将有助于为您提供进一步的建议。

您的限制因素将是对这10,000个提要的网络访问。您可以连续处理提要，并且可能在一小时内处理10,000个提要(您需要平均约350ms的延迟)。

当然，您可能希望有多个进程同时执行这些工作，以加快速度。