使用AWS Lambda和Redshift的ETL
使用AWS Lambda和Redshift的ETL
提问于 2019-06-18 07:49:03
背景:我想从现有系统中收集数据来执行分析处理。
现有系统公开了REST端点。
硬要求: MVP (最小可行产品) =>首选AWS Lambda或一些轻量级的东西，应该以Redshift结尾，不需要额外的存储/存档(不需要存储在S3中)。
我的计划是使用AWS Lambda执行区间收集和转换，并将数据存储到AWS Redshift。
建议的方法是什么：
解决方案#1: AWS Lambda用于转换+使用PostgreSQL驱动程序插入？
解决方案#2: AWS Lambda用于转型+推送到AWS Kinesis =>复制到AWS Redshift？
还有其他的解决方案吗？
回答 1
Stack Overflow用户
发布于 2019-06-18 11:00:44
Redshift需要摄取的数据量是多少？假设您计划Lambda每30分钟运行一次，获取一批数据并插入到Redshift中，确保它可以在15分钟执行时间内完成。
我更喜欢Lambda --> Kinesis Firehose --> Redshift，因为它可以更好地扩展。但是如果体积很小或者成本是一个因素，那么you #1也是一个很好的选择。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56640120
复制相关文章
相似问题
腾讯云开发者
