如何将运行时参数/自变量添加到CDAP管道。
我们可以在所有转换、源节点和目标节点中设置参数,并在数据传输环境中的运行时手动输入值。
然而,在生产环境中,我需要一个参数文件来将值提供给管道,我如何实现这一功能。
在CDAP文档中,我没有发现任何关于运行时参数的有用内容。我是个新手,对它的界面也不是很熟悉。如果这个问题已经回答了,重定向到线程也会很有帮助。
发布于 2020-01-15 20:35:36
启动管道时,可以将运行时参数指定为请求正文中的JSON映射。
首先,您的管道应该包含属性查找宏,它们是文档化的here。例如,管道json定义可以包含BigQuery接收器插件的以下配置(为简洁起见,删除了周围的字段):
{
"name": "BigQuerySink",
"plugin": {
"properties": {
"table": "${bqsink_table}"
}
},
然后,在启动管道时,您可以指定宏的值,就像前面提到的here。
在此示例中,您将向v3/namespaces/<namespace-id>/apps/<app-id>/workflows/DataPipelineWorkflow/start
发送一个POST请求,其中包含请求正文:
{ "bqsink_table": "myTable" }
https://stackoverflow.com/questions/59677435
复制