我想存储和查询在DataFactory运行期间生成的输出和错误数据。在调用Get-AzDataFactoryV2ActivityRun时返回数据。
其目的是以简便、快速的方式对可能的流水线执行错误、持续时间等进行监控。
数据表示JSON格式。最好是通过一些html可视化每次执行的摘要。我应该把这个日志存储到一个MongoDB中吗?
是否有一种简单和更好的方法来集中不同管道的多个执行的日志信息?
ResourceGroupName : Test
DataFactoryName : DFTest
ActivityRunId : 00000000-0000-0000-0000-000000000000
ActivityName : If Condition1
PipelineRunId : 00000000-0000-0000-0000-000000000000
PipelineName : Test
Input : {}
Output : {}
LinkedServiceName :
ActivityRunStart : 03/07/2019 11:27:21
ActivityRunEnd : 03/07/2019 11:27:21
DurationInMs : 000
Status : Succeeded
Error : {errorCode, message, failureType, target}
Activity 'Output' section:
"firstRow": {
"col1": 1
}
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West Europe)"发布于 2019-07-03 22:17:30
这可能不是监视ADF管道的最佳方法。
你考虑过使用Azure Monitor吗?
了解更多情况:
https://stackoverflow.com/questions/56870243
复制相似问题