问使用Apache-Spark将MongoDB数据管道传输到Redshift
EN

Stack Overflow用户

提问于 2017-09-08 01:59:30

回答 1查看 574关注 0票数 1

当我的雇主大举转向MongoDB、红移和星火时。我正在尝试积极主动地使用每一项技术。您能给我推荐一些对执行这项任务有帮助的资源吗？“使用Apache Spark创建数据管道，将数据从MongoDB移动到RedShift”。

到目前为止，我已经能够下载MongoDB的开发版本并创建一个测试Redshift实例。我该如何着手设置剩下的流程，并让我的脚湿透呢？

我知道要使用Apache Spark创建数据管道，必须使用Scala、Python或Java编写代码。我对SQL有扎实的理解，所以请随意建议Scala、Python和Java中哪种语言对我来说更容易学习。

我的背景是数据仓库、传统ETL (Informatica、Datastage等)。

提前感谢您:)

发布于 2017-09-30 17:29:32

真正好的方法可能是使用AWS数据迁移服务http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.MongoDB.html。

您可以将mongodb指定为源端点，将redshift指定为目标端点

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46102528

复制

相似问题

问使用Apache-Spark将MongoDB数据管道传输到RedshiftEN