如何在分布式重新排队工作进程之间共享待处理文件
如何在分布式重新排队工作进程之间共享待处理文件
提问于 2012-07-21 15:32:28
想象一下，亚马逊ec2实例侦听sqs队列以将pdf转换为图像。假设我们有另外4个实例，每个实例都有5个工作，每个实例都在运行并共享主redis。
塞纳里奥:我们收到了一份pdf。它有25个页面(每个服务器5个页面)。我们将文件上传到s3。然后，我们对每个页面执行perform方法以生成图像。
我的问题是:这五个实例必须从s3下载文件。这是推荐的吗？还有其他的解决方案吗？因为5个实例下载一个10mb的文件来转换单独的图像似乎太慢了，而且对于每个工作，我都必须检查文件系统是否存在...
在总体可扩展性设计中，这种方法是正确的吗？
感谢您的帮助！
回答 1
Stack Overflow用户
发布于 2012-09-15 03:50:28
- 通过使用s3，您消除了管理自己的存储、数据传输带宽、可靠性/可用性的头疼问题，总的来说，这对您的整体设计是有好处的。
- 我认为您应该致力于设计，在最小化冗余数据流/集方面做出正确的决定，明智地定义原子任务(不是太小也不是太大)。
- 还S3作为文件交换的目的并不是那么昂贵，对于同一地域内的ec2实例，流量是免费的。请参阅aws.amazon.com/s3/pricing/
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/11590339
复制相关文章
相似问题
腾讯云开发者
