目前我们正在使用Blob trigger Azure函数将json数据移动到Cosmos DB中。我们计划用Azure数据工厂(ADF)管道替换Azure函数。我刚接触Azure Data Factory(ADF),所以不确定Azure Data Factory(ADF)管道是不是更好的选择?
发布于 2020-06-21 17:42:36
虽然我的回答有点晚了,但我想补充说,我不建议用ADF替换您当前的设置。原因:
太贵了。ADF的成本比azure函数要高得多。
自定义逻辑: ADF不是用来执行清理逻辑或任何自定义代码的。它的主要目标是使用其庞大的连接器池从外部系统集成数据
延迟:由于其作业框架开销较大,ADF具有更高的延迟
发布于 2020-02-09 12:13:51
根据您的需求,Azure Data Factory是您的完美选择。你可以遵循这个tutorial配置Cosmos DB输出和Azure Blob存储输入。
相比azure函数的优点是,你不需要编写任何自定义代码,除非涉及到数据清理,并且azure数据工厂是推荐的选项,即使你想将azure函数用于其他目的,你也可以将其添加到流水线中。
发布于 2020-03-03 22:38:15
Azure数据工厂的基本用途是数据摄取。Azure函数是无服务器的(Function as A Service),其最佳用法是用于生命周期较短的实例。执行数秒的Azure函数的开销要大得多。Azure函数适用于事件驱动的微服务。对于数据摄取,Azure Data Factory是一个更好的选择,因为它的巨大数据的运行成本将低于azure函数。此外,您还可以在ADF中集成Spark processing管道,以获得更高级的数据摄取管道。
https://stackoverflow.com/questions/60128187
复制相似问题