问托管一个节点网络爬虫？
EN

Stack Overflow用户

提问于 2020-09-22 03:44:41

回答 1查看 42关注 0票数 0

我有一个爬虫，它每隔60秒检查一次用Nodejs编写的URL列表。它不使用数据库，在内存中存储一些项目，并且应该全天候运行。

托管这个爬虫的合适的解决方案是什么？

据我所知，AWS是按秒付费的，我想这会让一个全天候的过程变得非常昂贵？也许我在这里遗漏了一些东西，AWS文档非常令人困惑。

发布于 2020-09-22 04:21:30

这个工具听起来足够轻便(基于目的)，所以我选择了一个无服务器解决方案来减少操作占用空间:所以使用Lambda函数或ECS FarGate。以下是你期望支付的费用：

对于Lambda，假设512MB运行5秒@每100ms 0.0000008333次: 60次调用* 24小时* 30天-> _43200 * 0.0000008333_50* ~= $1.8每月

对于占用空间最小的Fargate :0.25vCPU和0.5 30内存：((0.25 * 0.01239249) + (0.5 * 0.00136079)) * 24 *30 ~= 每月2.7美元

对这些数字要小心，只是一个快速的草稿。这两种方法都相当便宜，但Lambda可能更容易使用，而且您还表示不需要内存中的项来持久化调用。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63999011

复制

相似问题

问托管一个节点网络爬虫？EN