如何防止重复的SQS消息？
如何防止重复的SQS消息？
提问于 2014-04-24 12:44:39
在Amazon SQS中防止重复消息的最佳方法是什么？我有一个SQS的域名等待抓取。在我添加一个新的域名到SQS之前，我可以检查保存的数据，看看它最近是否被爬行过，以防止重复。
问题出在尚未抓取的域名上。例如，如果队列中有1000个域尚未爬行。这些链接中的任何一个都可以一次又一次地添加。这使我的SQS膨胀到数十万条消息，其中大部分是重复的。
我如何防止这种情况发生？有没有一种方法可以从队列中删除所有重复项？或者，有没有办法在添加消息之前先在队列中搜索它？我觉得这是任何有质量保证体系的人都会经历的问题。
我可以看到的一个选项是，如果我在将域添加到SQS之前存储一些数据。但是，如果我必须存储两次数据，那就有点破坏了最初使用SQS的意义。
回答 2
Stack Overflow用户
发布于 2014-04-24 16:19:54
没有API级别的方法可以防止将重复消息发送到SQS队列。恐怕您需要在应用程序级别处理此问题。
例如，您可以使用DynamoDB表来存储等待抓取的域名，并且仅当它们不在DynamoDB中时才将它们添加到队列中。
Stack Overflow用户
发布于 2021-06-12 22:13:41
如果AWS没有引入更新来检测重复的消息，我会做这样的事情。只要大声思考，一旦请求到达您的网关/您的环境，立即使用TTL将所有内容推送到Redis，假设TTL为15分钟(或适合于此用例的任何时间段)，并让您的生产者在发送/放入队列之前检查Redis是否有来自用户的相同数量的消息(根据业务逻辑，无论它是重复的)，如果消息存在，则将响应返回给客户端，声明发现重复，否则允许将其推送到队列。Redis需要成为真正的HA。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/23260024
复制相关文章
相似问题