现有的进程-原始结构数据被复制到Redshift的暂存层中。然后利用Informatica、Telend等ETL工具对Datamart/datawarehouse的事实表和维度表进行增量加载。所有连接都发生在数据库层(ETL将查询推入DB)
星火可以取代ETL工具,进行同样的处理并将数据加载到Redshift中吗?
这种架构的优点和缺点是什么?
发布于 2017-07-12 10:05:32
我们使用ETL来做这些事情:
1、将数据传送到数据库;
2、从数据库中获取数据,并将其移动到其他空间。
3、调度作业何时运行。
4、检查作业依赖关系
恢复数据的Hadoop生态圈总是使用关系数据库,因此ETL不会被替换,因为它们所做的事情不同。
https://stackoverflow.com/questions/45043323
复制相似问题