问Spark能否取代ETL工具

EN

在过去的4年里，我在将现有的ETL工作迁移到spark的项目上做了大量的工作。

ETL作业的问题如下

，

1. ，他们没有给我们严格的服务水平协议。这些作业共享相同的资源池，因此很难确定优先级。每个人的工作都是business critical。
2. 另一个重要的问题是基于ETL的工作成本很高，因为我们支付provider.
3. Scale是另一个重要的问题。我们需要大规模的ETL，但我们发现这太昂贵了。

因此，我们将所有的ETL迁移到spark作业。Spark和hadoop都是开源的，除了计算之外，我们没有任何额外的成本问题。

随着时间的推移，Spark对SQL的支持得到了极大的改进。您可以在同一数据框上运行ML/Graph查询和普通ETL。Spark joins速度很快，可以针对不同的数据集进行优化。您可以对转换和连接进行更细粒度的控制。

我们首先使用了一个长期运行的集群，并支持spark和其他大数据工具。我们统一了平台，这样所有的客户都可以使用它。我们慢慢地将所有的ETL作业迁移到spark作业。

我们确实使用Redshift进行报告，但所有繁重的工作都是在spark中完成的，包括从数据中发现洞察力、连接、管理传入数据并将其与现有快照合并。

通过将现有的ETL工作转移到Spark，我们节省了数百万美元。

我的两个便士是，最终火花，蜂巢大数据，hadoop最终将超过ETL作业。我并不是说ETL将被剔除，但开源解决方案肯定会成为该领域的主导力量。

我想知道用Spark替换Informatica的原因。Informatica BDM 10.1版本附带Spark执行引擎，它将Informatica映射转换为Spark等效项(Scala代码)并在集群上执行。此外，在我看来，Spark更适合于非中间的数据，在ETL的情况下，数据从一个转换到另一个转换！