问ETL工具和构建工具

EN

正确的做法是，您可以推出自己的ETL脚本，这些脚本是使用您喜欢的开发工具编写的。话虽如此，ETL工作通常很大(因为没有更好的词)，需要相当多的管理和对微小细节的关注(比如编程)。ETL工具允许开发人员专注于ETL任务，而不是编写和调试代码，尽管这也是其中的一部分。市面上有一些开源工具，因此在开始定制开发之前，您可以大致了解一般工具的功能。例如，更昂贵的工具提供数据谱系，这意味着您可以(以图形方式)跟踪报告中的每个字段，通过所有转换(包括版本)返回到原始表；在公司合并之后，这是一项相当艰巨的任务。

例如，；如果您有MS SQL Server，则可以获取SSIS。另请查看是否可以找到。

如果您有许多进程要构建，那么ETL工具的好处就会最大化(我喜欢jsf80238的帖子将其比作100个钉子中的锤子)。真正的ETL工具的一个关键好处是它们生成的元数据和操作支持。在Perl/Ruby/etc中编写脚本相当容易，但是当需要跟踪问题或者作者以外的人必须找出什么是wrong.The能力时，管理员/支持人员就会很快发现哪些地方出了问题，哪些地方值得花钱。我用过微软的SSIS (2005 - OK)和最新的Pentaho PDI (相当不错)。在我的工作场所，商业用户( 99%的时间里没有IT支持)使用的是Pentaho ETL GUI，它已经取代了一堆错综复杂的SQL脚本和电子表格。说出你喜欢的其余部分，但在我看来，ETL组件是非常好的“物超所值”。

ETL的全部业务都是以数据源与目的数据源不兼容为前提的。很多时候，转储源数据的人可能并不认为这些数据需要收集和聚合。这就是为什么ETL的整个业务是存在的。

商业ETL工具不会神奇地读取源输入并根据目标数据库的规则转换数据。必须定义规则并将其提供给ETL工具。有趣的是，许多公司都提供培训！如何使用他们专有的脚本语言。因此，这并不总是那么容易。但对于非程序员来说，这可能是首选的方法。

就我个人而言，我认为用Perl这样的语言编写专有ETL工具总是更容易一些。只需编写一个状态机算法来撕裂源数据并将其转换为所需的格式。我使用Perl将文件传输到机器中，读取文件，转换数据，然后将其加载到数据库中。这始终是一个更好的解决方案，如果精通Perl或类似的语言，或者可以雇佣懂Perl的人，速度会快得多。

最后一点，从结束开始。以结构化格式转储您的源数据，以帮助您公司中想要聚合和研究的分析小组。这将使ETL程序更容易和更快地开发。