文章/答案/技术大牛

发布

社区首页 >问答首页 >从Kafka读取数据到AWS红移的最佳实践

问从Kafka读取数据到AWS红移的最佳实践
EN

Stack Overflow用户

提问于 2018-07-30 13:29:10

回答 1查看 6.6K关注 0票数 5

将数据从Kafka集群移动到Redshift表的最佳实践是什么？我们在Kafka上有连续的数据，我想把它写到Redshift中的表中(不需要实时的)。

我应该使用Lambda函数吗？
我应该编写一个红移连接器(使用者)来运行在一个专用的EC2实例上吗？(缺点是我需要处理冗余)
有什么AWS管道服务吗？

amazon-web-services

apache-kafka

aws-lambda

amazon-redshift

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-07-30 13:41:49

Kafka通常用于将数据从Kafka流到(和来自)数据存储区。它可以做一些有用的事情，比如自动管理扩展、故障转移、模式、序列化等等。

这个博客展示了如何使用开源的JDBC连接器流到Redshift。还有一个社区红移连接器，但我还没有试过这个。

这个博客展示了另一种方法，而不是使用卡夫卡连接。

免责声明:我为Confluent工作，他创建了JDBC连接器。

票数 9

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51595109

复制

相似问题

问从Kafka读取数据到AWS红移的最佳实践
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问从Kafka读取数据到AWS红移的最佳实践EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问从Kafka读取数据到AWS红移的最佳实践
EN