腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(989)
视频
沙龙
2
回答
如何在Airflow上发起追赶?
airflow
、
airflow-scheduler
default_args=default_args, schedule_interval='12 11 * * *'
catchup
浏览 42
提问于2020-01-15
得票数 0
2
回答
从m3u文件中删除标记
linux
、
bash
、
m3u
EXTINF:0 tvg-id="Channel 1" tvg-name="Channel 1" tvg-logo="http://host/logo/logo1.png" timeshift="5"
catchup
="default"
catchup
-source="http://1.1.1.1/325/mono-{utc}-{lutc}.m3u8?="def
浏览 18
提问于2021-03-06
得票数 0
回答已采纳
1
回答
一次无意中在Airflow 2.0上运行多个DAG
airflow-scheduler
、
airflow
我第一次用postgreSQL安装了Airflow。但是,在web上激活DAG后,将同时创建大约16个DAG,如下图所示。enter image description here 作为测试,我制作了一个dag,它每秒向数据库中输入当前日期10秒一次。如果需要,它应该每秒生成一行,但上面的问题每秒创建多行。enter image description here 下面是DAG代码。 import pendulumfrom airflow.utils.dates import days_ago from airflow.operat
浏览 84
提问于2021-05-06
得票数 1
回答已采纳
1
回答
计划在气流环境中的postgresdb中插入数据的spark作业
postgresql
、
pyspark
、
airflow
、
batch-processing
、
spark-submit
我想调度对postgres db的spark写入操作。我已经附上了我的代码如下。我的airflow任务实例在小时前触发。如果每次dag运行只有一个任务实例,我可以做些什么才能使它精确地运行一小时 df = spark.read \.option("url", URL) \.option("user", "tsdbadmin") \ .option("passwo
浏览 19
提问于2021-07-06
得票数 1
2
回答
如何防止DAG的追赶?
airflow
False, 'retries': 5, '
catchup
浏览 3
提问于2018-07-22
得票数 1
1
回答
如果之前的任务执行时间较长,则会跳过气流计划
airflow
、
airflow-scheduler
max_active_runs=1, default_args=default_args,
catchup
浏览 11
提问于2019-08-09
得票数 1
回答已采纳
1
回答
如何跳过DAG的下一个调度,如果上一次运行到下一个计划时还没有完成?
airflow
、
directed-acyclic-graphs
我有一个案例可以跳过DAG的整个运行,如果到了即将到来的日程时,上一个DAG还没有完成。有办法这样做吗?
浏览 14
提问于2022-03-16
得票数 1
回答已采纳
2
回答
Git别名的变量未按预期工作: pathspec与git已知的任何文件都不匹配
git
、
alias
、
git-bash
下面是来自我的.gitconfig的[alias]部分的当前行:我的用法如下(例如): git
catchup
浏览 0
提问于2012-10-08
得票数 5
回答已采纳
2
回答
只从大熊猫dataframe列中的json格式获取特定的键值
python
、
pandas
我有一个熊猫数据栏,它包含以下json格式:打印(df_merge‘’PDH_Value‘..head().to_dict()) {{“罗斯”:空,“税前
浏览 6
提问于2021-06-30
得票数 1
回答已采纳
1
回答
Airflow Dag未自动运行
airflow
end_date=datetime(2018, 11, 3, 0, 0, 0, 0),
catchup
浏览 83
提问于2021-11-19
得票数 0
回答已采纳
1
回答
气流开始日期未按计划运行
python
、
airflow
我是这里的新手。我想安排气流运行三角洲每天相同的时间,如18:50小时,没有回填的数据。WORKFLOW_START_DATE = datetime(2018, 11, 5), 'owner': 'admin', 'depends_on_past': True,
浏览 1
提问于2018-11-06
得票数 0
回答已采纳
1
回答
气流DAG每隔几秒钟运行一次,而不是配置好的schedule_interval。
airflow
、
directed-acyclic-graphs
我写了我的第一个DAG。import datetime as dtfrom airflow import DAGfrom airflow.operators.python import PythonOperator df = pd.read_csv("/home/v4g4x/D/Study/DataEngineering/PaulC
浏览 3
提问于2021-06-29
得票数 0
回答已采纳
1
回答
如何从Foundry中现有的大型增量输入数据集构建大型增量输出数据集?
pyspark
、
palantir-foundry
、
incremental-build
我在Palantir Foundry中有一个80 of的日期分区数据集,它每3小时在增量附加事务中摄取300-450 of的数据。我想要创建一个增量转换,使用它作为输入。
浏览 13
提问于2022-07-29
得票数 2
1
回答
尽管有
catchup
=False、schedule_interval=datetime.timedelta(hours=2),Airflow仍在运行我的数据采集卡
airflow-scheduler
'email_on_retry': False, 'retry_delay': datetime.timedelta(hours=1), max_active_runs=1,
catchup
如您所见,我在DAG args和默认args中都设置了
catchup
: F
浏览 37
提问于2019-07-31
得票数 0
1
回答
气流忽略start_date并立即调度任务
airflow
、
airflow-scheduler
我使用start_date和schedule_interval创建了DAG,如下所示: 'start_date': datetime(2020, 11, 16, tzinfo=local_tz), 'retry_delay': timedelta(minutes=1),} 'batch_job',
浏览 2
提问于2020-11-20
得票数 2
1
回答
最新运营者与气流赶超的区别
python
、
airflow
正如标题所暗示的,希望了解dag定义中的追赶= False与最新的唯一操作符之间的区别。
浏览 3
提问于2020-04-16
得票数 6
回答已采纳
1
回答
Airflow DAG不是从`start_date`开始的,而是从现在开始
airflow-scheduler
、
airflow
airflow", "retries": 1, "
catchup
浏览 0
提问于2020-12-02
得票数 2
1
回答
在气流中回填和回流有什么不同?
airflow
我知道什么是
catchup
,但我还没有完全理解backfill到底是什么,以及它是如何使用的。 我已经阅读了文档,但是找不到好的例子来理解回填。
浏览 14
提问于2019-07-30
得票数 3
回答已采纳
1
回答
如何为windows azure编写连接查询
azure
我应该如何编写这个查询: "SELECT
catchup
.*,news.text from
catchup
,news where news.deviceID =
catchup
.deviceID AND news.name = '$name' ORDER BY
浏览 0
提问于2013-10-03
得票数 0
2
回答
气流DAG触发时间消耗
airflow
、
airflow-scheduler
、
google-cloud-composer
我对气流完全陌生,并试图掌握调度和默认args的概念。
浏览 11
提问于2022-02-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文速览以太坊2.0、比特币现金和Algorand新功能对比
Flink Checkpoint 和 Large State 调优
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券