有没有办法通过SimpleHttpOperator在Airflow中通过REST上传文件？

文章/答案/技术大牛

发布

1回答

airflow

我正在尝试创建一个Airflow DAG来查询一些数据，将其另存为CSV文件并将其上载到REST API端点。-header 'X-API-TOKEN: my_token' \ --form 'file=@/Users/myuser/myfiles/all_20200707_2.csv' 我正在尝试将其移动到Airflow，并希望通过SimpleHttpOperator将CURL命令转换为Airflo

浏览 16提问于2020-07-09得票数 0

回答已采纳

1回答

想要使用airflow* [ DAG ]文件将一个文件上传到s3*

amazon-s3、airflow

我想制作一个DAG文件( airflow)，用于将rar文件上传到s3桶，任何人都试过了。请建议，错误是 /usr”导入“SimpleHttpOperator”已被废弃。请改为从'

浏览 3提问于2020-03-10得票数 0

回答已采纳

1回答

有没有办法在运行master的不同服务器上提交spark作业

apache-spark、pyspark、airflow

我们需要安排spark作业，因为我们熟悉apache-airflow，所以我们想继续使用它来创建不同的工作流。我在网上搜索，但没有找到一步一步的指南，以安排spark作业的airflow和选项，以运行它们在不同的服务器运行主机。对此问题的回答将受到高度赞赏。提前谢谢。

浏览 4提问于2018-11-17得票数 8

回答已采纳

1回答

如何在Apache Airflow中访问来自SimpleHTTPOperators的响应头

python、node.js、rest、jwt、airflow

到目前为止，我正在尝试利用Airflow的SimpleHTTPOperator，并希望使用需要jwt身份验证的端点。现在，我使用Node.js和Passport.js对端点进行身份验证。在访问登录页面后，我使用res.cookie将jwt存储在cookie中，它在登录后正确地将jwt存储在cookie中。这是Postman中的cookie头参数。因此，在构建DAG定义文件时，我首先创建一个登录任务，以便其他操作员可以

浏览 0提问于2020-08-25得票数 2

2回答

使用SimpleHttpOperator访问上下文以启用XCOM拔出

python、airflow、google-cloud-composer

我正在努力使用SimpleHttpOperator将xcoms拉到一个任务中。下面的dag用于编排多个请求(通过Google函数)到第三方API，将csvs存储在存储中，并最终访问所有csvs、合并、转换和存储在Big query中。这些任务是成对的，对于每个报表，第一个任务触发云函数--生成请求并将报告令牌存储在秘密管理器中，第二个任务检查报表是否可用，以便下载、重新尝试，然后保存到Google云存储中。当每个独立

浏览 5提问于2021-06-28得票数 1

回答已采纳

1回答

适用于气流中HTTPS的HttpOperator或HttpHook

https、google-cloud-platform、airflow

我正在做一个关于Google Cloud上的Airflow的概念证明。本质上，我想创建一个从REST API (https)下载数据的工作流，将这些数据转换为JSON格式，并将其上传到Google Cloud存储单元。但是因为我想安排这个，而且有一些依赖关系，Airflow应该是这个的理想工具。仔细阅读Airflow文档后，我发现HttpOperator和/或HttpHook可以完成下载部分的工作。在我的例子中，XCOM特性不会起作用，因为这些API调用可能

浏览 0提问于2019-10-04得票数 7

2回答

SimpleHttpOperator气流，数据模板

python、airflow

我正试图正确地将data呈现在气流中的SimpleHttpOperator中，并通过dag_run发送配置 task_id="schema_detector编辑下面的完整代码 'owner': 'airflow',} def print_

浏览 2提问于2021-05-12得票数 2

1回答

从另一个任务中的SimpleHTTPOperator访问响应

airflow

关于this earlier question，假设我们有一个Apache Airflow DAG，它包含两个任务，首先是一个HTTP请求(即SimpleHTTPOperator)，然后是一个处理第一个任务的响应的airflow.providers.http.operators.http import SimpleHttpOperator from airflow.operators.python import通过检查日志，get_dog很好地填充了xcom存储，如下所示： ?

浏览 48提问于2021-10-30得票数 2

回答已采纳

1回答

是否可以在亚秒级触发气流作业？

airflow

我尝试通过airflow rest api在一秒钟内触发一个airflow作业两次以上，发现只有一个触发成功。如果调度气流作业，则最短时间为1秒。那么有没有办法在亚秒级内触发气流作业？

浏览 0提问于2020-03-28得票数 0

2回答

在外部触发Prefect工作流

workflow、airflow、prefect

我目前在EC2实例上本地运行了一个Prefect工作流。我可以通过UI在localhost:8080上触发我的工作流。有没有办法通过REST API或其他方式在外部触发Prefect工作流(比如AWS Lambda)？我知道Airflow支持实验性的REST API。

浏览 4提问于2020-08-05得票数 8

1回答

我可以在气流中使用SimpleHttpOperator发送二进制文件吗？

python、rest、airflow

我想上传二进制数据与REST使用气流的SimpleHttpOperator。upload_response = requests.put( ) 在气流中，我有第一个任务，用SFTPOperator下载文件，然后尝试将文件上传到SimpleHttpOperator</em

浏览 3提问于2021-11-29得票数 0

回答已采纳

1回答

如何使用appscript触发Google Composer Airflow* dag？*

rest、google-cloud-composer

我想使用Appscript触发Google Composer airflow dag。有没有办法通过rest API或其他方式做到这一点。如果可能，请提出解决方案。

浏览 1提问于2020-09-07得票数 1

1回答

如何访问气流SimpleHttpOperator* GET请求的响应*

airflow、data-pipeline

下面是我的DAG名为dog_retrieverfrom airflow import DAGfrom airflow.operators.sensors import HttpSensor} dag = DAG('dog_retriever',

浏览 4提问于2017-10-10得票数 19

回答已采纳

1回答

用于使用REST* API调用删除Airflow UI中的airflow Dag的CSRF令牌*

etl、airflow、csrf-token、rest

其目的是通过rest api调用从UI中删除airflow dag。我尝试了调用.../delete?dag_id=<dag_id>，这个rest调用失败了，报告缺少CSRF令牌。如何从airflow服务器获取CSRF令牌？或者有没有更好的方法从airflow UI中自动删除dag？(不是从airflow UI手动按下删除按钮)

浏览 3提问于2020-06-11得票数 0

2回答

如何从SimpleHttpOperator读取响应体

airflow

我已经编写了一个使用SimpleHttpOperator提交HTTP Post的代码。在这种情况下，post请求返回一个令牌，我需要有关如何读取响应正文的帮助。get_templates = SimpleHttpOperator( method='POST', endpoint='myendpoint

浏览 1提问于2019-05-07得票数 0

1回答

我们是否可以包含在Airflow部署中运行的自定义sql脚本？

airflow、mwaa

我正在尝试运行airflow作业，以使用MWAA(来自AWS的托管气流)在Snowflake实例上执行一些SQL操作。在MWAA中设置气流时，它要求DAG、插件和要求。有没有办法包含定制的sql脚本？snowflake_conn_id=SNOWFLAKE_CONN_ID, ) 我计划在creating_staging.sql中运行为此，我将sql脚本"

浏览 35提问于2021-08-09得票数 1

回答已采纳

6回答

适用于HTTPS的Airflow SimpleHttpOperator

https、airflow

我正在尝试使用SimpleHttpOperator来消费RESTful应用程序接口。但是，顾名思义，它只支持需要使用HTTPS URI的HTTP协议。因此，现在，我必须使用Python中的“request”对象，或者在应用程序代码中处理调用。但是，这可能不是一种标准的方式。因此，我正在寻找在Airflow中使用HTTPS URI的任何其他可用的选择。谢谢。

浏览 0提问于2018-08-01得票数 6

1回答

来自不可靠网络的气流HTTP呼叫

airflow

我需要通过apache气流(例如)从REST中获取数据。有什么办法可以用apache气流来实现这一点吗？谢谢

浏览 0提问于2021-10-14得票数 0

回答已采纳

2回答

认证到气流DAG中的REST端点

rest、authentication、airflow、directed-acyclic-graphs

我需要从气流DAG内部的外部REST API中提取数据。API是受保护的，所以我需要首先以用户身份对API进行身份验证/登录，然后通过在API调用中传递一个access_token来提取数据。在实现此功能时需要一些帮助。如果有人做过类似的事情或者做过一些类似的例子，那就真的有帮助了。谢谢

浏览 7提问于2022-06-30得票数 0

回答已采纳

1回答

来自S3或云存储的Multipart/form curl

api、amazon-s3、airflow

我正在尝试使用BashOperator通过Airflow向API发出POST请求。有没有可能直接从S3加载文件？

浏览 0提问于2021-10-11得票数 0

点击加载更多