托管一个节点网络爬虫？
托管一个节点网络爬虫？
提问于 2020-09-21 19:44:41
我有一个爬虫，它每隔60秒检查一次用Nodejs编写的URL列表。它不使用数据库，在内存中存储一些项目，并且应该全天候运行。
托管这个爬虫的合适的解决方案是什么？
据我所知，AWS是按秒付费的，我想这会让一个全天候的过程变得非常昂贵？也许我在这里遗漏了一些东西，AWS文档非常令人困惑。
回答 1
Stack Overflow用户
发布于 2020-09-21 20:21:30
这个工具听起来足够轻便(基于目的)，所以我选择了一个无服务器解决方案来减少操作占用空间:所以使用Lambda函数或ECS FarGate。以下是你期望支付的费用：
对于Lambda，假设512MB运行5秒@每100ms 0.0000008333次: 60次调用* 24小时* 30天-> _43200 * 0.0000008333_50* ~= $1.8每月
https://s3.amazonaws.com/lambda-tools/pricing-calculator.html
对于占用空间最小的Fargate :0.25vCPU和0.5 30内存：((0.25 * 0.01239249) + (0.5 * 0.00136079)) * 24 *30 ~= 每月2.7美元
对这些数字要小心，只是一个快速的草稿。这两种方法都相当便宜，但Lambda可能更容易使用，而且您还表示不需要内存中的项来持久化调用。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63999011
复制
相似问题
用节点爬虫或简单爬虫进行NodeJS网络爬行
网络爬虫-如何删除div中的子节点？
简易网络爬虫
自动网络爬虫
识别网络爬虫
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
