我正在尝试用开源框架来做ETL,我听说过两件事,Apache Beam和Apache Airflow,这两件事最适合整个ETL或ELT,比如Talend、Azure Data Factory等,事实上,我正在尝试用云数据仓库(redshift、azure数据仓库、雪花等)来做所有的事情。哪一个对这些类型的工作更好,如果我能在这两个框架之间进行一些比较,那就太好了。提前谢谢。
我们正在尝试将数据从本地系统复制到Azure数据仓库。我们希望使用SSIS包将数据从本地复制到云。Azure Data Factory v1不支持SSIS包,而Azure数据工厂v2支持SSIS包,但数据仓库不支持它。所以我的问题是,如何使用Azure data Factory SSIS包将数据从本地数据库导入Azure数据仓库?