腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Curl
命令
在
尝试
通过
气流
dags
运行时
不起作用
,
但
通过
本地
计算机
单独
运行
、
、
、
DVT_TASK.set_upstream(DAG_START) DAG_END.set_upstream(DVT_TASK) Dag正在正确创建,我的validation.sh也有一个
curl
命令
,可以触发DVT验证。如果我
通过
我的机器
运行
相同的
curl
命令
,DVT验证将被触发,
但
当我
尝试
通过
airflow时,它
不起作用
。(我
尝试
保留一个简单的echo
命令</e
浏览 19
提问于2021-05-11
得票数 0
1
回答
如何获得存储
在
DAG文件夹中的python脚本中
运行
的composer
气流
的DAG列表?
、
、
、
我创建了一个python脚本来读取那些JSON文件,以便为Composer
气流
动态生成DAG。现在,我面临的挑战是如何在python脚本中获得
运行
DAG的列表,并从
本地
系统触发单个DAG。
在
我的
本地
,我设置了私有SSH键,所以我可以使用下面的
命令
获得
在
composer
气流
中
运行
的DAG列表。gcloud -q composer environments run "$ENVIRONMENT" --location &
浏览 2
提问于2019-12-18
得票数 0
回答已采纳
2
回答
在数据库上可视化
气流
数据集
、
、
、
、
我想在数据库上
运行
气流
DAG。 %sh我得到了:但是,我无法
在<
浏览 0
提问于2019-12-22
得票数 0
1
回答
使用Google函数触发云编写器
、
、
我在下面
运行
了这个精确的代码,但是当试图使用云函数触发这个守护进程时会出现一个错误。dag_name = 'GcsToBigQueryTriggered' endpoint = f'api/experimental/
dags
json_data = {'conf': data, 'replace_microseconds': 'false'}
浏览 28
提问于2022-07-18
得票数 2
回答已采纳
6
回答
调试损坏的
DAGs
、
当
气流
we服务器出现像Broken DAG: [<path/to/dag>] <error>这样的错误时,我们如何在哪里找到这些异常的完整堆栈跟踪?我试过这些地点: /var/log/airflow/webserver --
在
执行的时间范围内没有日志,其他日志是二进制的,使用strings解码没有提供有用的信息。/var/log/airflow/scheduler --有一些日志,
但
以二进制形式存在,试图读取它们,并且
浏览 9
提问于2017-05-12
得票数 29
回答已采纳
2
回答
通过
卷曲和
气流
的实验rest
运行
带有
气流
的dag
、
、
我正试图使用
curl
命令
在
气流
中执行进程。我试图
通过
这里记录的试验性Rest来实现这一点:
curl
-X POST -v -u user@somedoman.com:somepassword -d '' 'https://airflow.somedomain.com/api/experimental/
dags
/
浏览 0
提问于2018-04-20
得票数 3
1
回答
向
气流
way服务器/调度器+工作人员和工作流分发代码的最佳方法
、
人们发现什么是将代码(
dags
)分发给
气流
、way服务器/调度器+工作人员的最佳方法?我试图
在
一大群工人身上
运行
芹菜,以至于任何手动更新都是不切实际的。我现在正在码头上部署
气流
,并使用s3fs,它不断地
在
我身上崩溃,并创建奇怪的core.###文件。我正在探索其他解决方案(即StorageMadeEasy,DropBox,EFS,从git.更新的cron作业)但是
在
我探索解决方案的时候,我很想得到一点反馈。另外,人们通常是如何对
dags
进行更
浏览 0
提问于2018-05-23
得票数 4
回答已采纳
1
回答
除了终端上的“
气流
调度器”
命令
之外,还有什么替代方法可以
在
VM上
运行
计划好的DAG而不需要“这里”?
、
、
我使用的是Azure VM上的
气流
。我希望我的DAG每天午夜
运行
,但我不能总是连接到VM在这个时候
运行
“
气流
调度器”
命令
。我希望我的DAG能够
在
没有我干预的情况下在午夜
运行
VM。我
尝试
使用Azure VM管理器中的"run
命令
“,
但
运行时
间限制
在
90分钟。我也
尝试
过探索airflow.cfg文件,但是没有找到任何东西。DAG_ID,
浏览 0
提问于2019-08-21
得票数 0
回答已采纳
3
回答
Airflow - Python文件不在同一个DAG文件夹中
、
、
、
我试图使用
气流
来执行一个简单的任务python。task_id='print', python_callable=print_context,例如,如果我
尝试
:
浏览 4
提问于2015-11-03
得票数 25
1
回答
如何配置
Dags
文件夹以能够查看示例
dags
?
我目前正在EKS上安装
通过
Helm的
气流
。当我向web服务器进行身份验证时,我找不到任何
dags
。 ? 当我
在
本地
运行
容器时,我能够看到示例
dags
。/hello_world.py $AIRFLOW_HOME/
dags
/EXPOSE 8080 CMD ["/usr/bin/supervisord"] Here是我当前部署的<e
浏览 14
提问于2020-12-10
得票数 0
回答已采纳
1
回答
气流
/K8s:如何正确设置存储
在
持久卷中的DAG的权限?
、
我想
通过
一个持久的卷向所有Kubernetes
气流
吊舱(web,调度器,工作人员)提供DAG,pv-索赔.: ReadWriteMany
但
如果我做了touch
dags
/hello.txt我
尝试
过破解
气流
图,将initContainer设置为chown
dags</
浏览 0
提问于2019-01-31
得票数 4
回答已采纳
1
回答
指定
通过
airflow
运行
的.py文件所需的依赖项
、
、
、
我正在
尝试
自动化的过程,每天
运行
一个webscraper与apache
气流
和码头。我已经启动并
运行
了
气流
服务器,我可以
通过
本地
服务器上的
气流
GUI手动初始化我的守护进程,但是它失败了。您可以看到我试图使用BashOperator函数
运行
脚本的地方。我怀疑问题在于刮板使用的依赖关系,但我不确定如何集成配置文件和
通过
apache / docker
运行
脚本所需的其他包。dag = DAG(&q
浏览 11
提问于2022-08-28
得票数 0
回答已采纳
1
回答
无法检测到我的课程项目的dag文件
、
、
我一直
在
尝试
创建一个新的dag文件,但是像airflow
dags
list或airflow webserver --port 8080这样的东西无法检测到该文件。执行export AIRFLOW_HOME=~/airflow
命令
。我已经
通过
ps aux | grep airflow和lsof -i 0.0.0.0:8080杀死了与
气流
有关的每一个过程。 我的教授建议使用云版本,但我宁愿
在
本地
计算机
上使用。编辑:python
浏览 5
提问于2022-10-14
得票数 0
4
回答
Windows 7上的Airflow安装问题
如何在Windows 7上安装Airflow?使用pip install apache-airflow安装时出现以下错误:-u -c "import setuptools, tokenize;__file__='C:\\Users\\SHRGUP~1\\AppData\\Loca l\\Temp\\pip-build-_
浏览 0
提问于2018-04-17
得票数 2
1
回答
是否有可能同时进行
气流
回填和调度?
、
同时,当我还在创建DAG来调度
气流
中的任务时。数据每天都在到达。因此,当我从今天开始
运行
我的DAG时,我想每天安排它,还想回填我
在
创建DAG时错过的过去几天的所有数据。我知道,如果我把start_date作为数据开始到达的日期,从那个日期开始回填,
但
那样的话,我的day将永远落后于今天吗?如何同时实现回填和调度?是否需要为回填和调度创建
单独
的DAG/任务?
浏览 0
提问于2019-08-11
得票数 2
1
回答
确定DAG是否正在执行
、
我使用的
气流
1.9.0与自定义SFTPOperator。我
在
我的DAG中有代码,用来轮询SFTP站点来查找新的文件。如果找到任何文件,则为动态创建的任务创建自定义任务id,并检索/删除文件。看起来,
气流
all服务器和
气流
调度器每秒钟迭代一次所有的DAG,并实际
运行
检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有一些只有
在
DAG实际
运行时
才执行的条件代码。 当一个SFTP站点使用密码身份验证时,我连接
浏览 0
提问于2018-08-03
得票数 2
回答已采纳
2
回答
气流
/作曲家推荐的文件夹结构
、
它的结构方式与我们的内部
气流
服务器现在使用的方式不同。这是我如何组织
dags
文件夹的一个例子: 以前,当我将key.json文件放在data/文件夹中,并且不能使用data/文件夹中的键解析
dags
时,我遇到了麻烦。因此,现在我倾向于将所有支持文件放在
dags
/文件夹中。 如果我将支持的文件(sql、键、模式)放在
dags
/文件夹中,调度程序的性能会受到影响吗?是否有一个很好的用例可以使用data/文件夹?如果你们能向我展示一个示例,说明如何构造co
浏览 0
提问于2018-09-26
得票数 3
3
回答
如何使用airflow
运行
现有的shell脚本?
、
我想使用airflow
运行
一些现有的bash脚本,而不需要修改脚本本身的代码。有没有可能不在任务的脚本中提到shell
命令
?
浏览 255
提问于2019-12-13
得票数 1
1
回答
如何在
气流
运行时
输入密码
、
、
、
我
在
远程集群中有一个脚本(RegisterKerbTicketAndOAuth.sh文件),sh RegisterKerbTicketAndOAuth.sh userID@azureprd.onmicrosoft.comEnter password for this1:: XXXXXX如何在
气流
中<
浏览 6
提问于2022-09-22
得票数 0
1
回答
如何使用窗口10中的对接器组合正确设置
气流
环境变量?
气流
-init_1错误: AIRFLOW_UID未设置
、
、
我
在
cmd中
运行
docker-compose up airflow-init来使用提供的模板来部署
气流
,创建文件夹日志、插件和
dags
: Volumeplugins 5 Dir(s) 22,549,196,800 bytes free 当
命令
运行时
我试着
运行
回显
命令
,这
浏览 9
提问于2021-09-18
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文解剖centos,curl,nss更新根证书的细节
curl在windows下的安装和curl命令详解
用 Docker 在卡片机上打造经济、高效的家用服务器集群(四)
Docker官方文档翻译2
任务流管理工具-Airflow配置和使用
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券