我正在创建一个云数据融合管道,在这里我需要从数据库中提取增量数据。我对数据的查询如下:
SELECT * FROM TABLE WHERE updated_date >${last_pipeline_run_time}
将last_pipeline_run_time作为参数动态传递给数据融合管道的最佳方法是什么?如果你能提出任何其他解决办法,这也是有帮助的,我暂时不使用任何其他调度器(如气流)。
我需要通过管道将两个数据流从Python (3.4)脚本传输到外部程序。一个人可以去STDIN,我对此没意见:
from subprocess import check_output
data1 = b'This is the data to pass on stdin'
check_output(['externalprogram'], input=data1)
程序可以接受命令行上给定的文件描述符上的另一部分,但是如何告诉python在另一个fd上发送数据呢?
data2 = b'This is the data to pass on fd 3