腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
气流- GoogleCloudStorageToBigQueryOperator不渲染模板化的source_objects
python
、
google-cloud-platform
、
airflow
、
google-cloud-composer
GoogleCloudStorageToBigQueryOperator( bucket='gdbm-public', source_objects=['entity/{{ ds_
nodash
Final error was: {u'reason': u'notFound', u'message': u'Not found: URI gs://gdbm-public/entity/
浏览 1
提问于2018-09-10
得票数 2
回答已采纳
1
回答
气流on_failure_callback接收上下文参数,但在哪里可以找到上下文包含的内容?
airflow
我在哪里可以找到上下文词典所包含的内容?我找不到任何关于它包含在文档中的密钥,或者在Google搜索之后。
浏览 7
提问于2021-12-23
得票数 1
回答已采纳
1
回答
气流停用警告无效参数被传递
airflow
我有以下关于气流1.9的代码: task_id='import', google_cloud_storage_conn_id='gcpm', approx_max_file_size_bytes = 100000000, #100MB per file sql = 'import.sql',
浏览 0
提问于2018-11-11
得票数 10
回答已采纳
1
回答
气流:自定义日期:适用于日期时间,但不适用于钟摆。
airflow
datetime import datetime, timedelta s3_key = kwargs.get('s3_key') print(f'STRT_WK_DT:{strt_wk_dt
浏览 2
提问于2020-07-10
得票数 0
回答已采纳
1
回答
在Join中连接table / Select语句时遇到问题
sql
、
sql-server
、
ssms
一个表有一个包含SKU编号的"item“列(我们称之为DASHDB),而另一个表有一个包含SKU编号的"item”列(我们称之为
NODASH
_DB)。我需要连接这两个表。我知道我可以这样做: FROM (SELECT REPLACE (ITEMDASH,'-','') AS ITEMNO FROM DASHDB) AS NEWITEMNO LEFT JOIN
NODASH
_DBON NEWITEMNO.ITEMNO =
NODASH
_DB.ITEMNO 但是,我已经从其他表中拉出了
浏览 13
提问于2019-03-29
得票数 0
回答已采纳
2
回答
在dag中增加或减少ts_
nodash
秒
python
、
datetime
、
airflow
、
google-cloud-composer
在气流中有增加或减少{ts_
nodash
}}秒的方法吗?由于{{ts_
nodash
}获得的日期时间相同,所以我的输出将被覆盖。有没有一种方法可以像{ ds }}中的几天一样,用1-2秒来增加{ts_
nodash
}- ds_add('2015-01-01', 5
浏览 7
提问于2021-04-07
得票数 0
回答已采纳
1
回答
了解气流的execution_date和时间表
airflow
、
airflow-scheduler
) as dag: 虽然这个守护进程在今天4/9准时执行,但是它执行的ds_
nodash
是20200402而不是20200409。那么,今后我应该使用next_ds_
nodash
吗?这不会对手动触发dags造成问题吗,因为execution_date在按需运行时按
浏览 0
提问于2020-04-09
得票数 3
回答已采纳
1
回答
ariflow2:如何将ds_
nodash
宏呈现为YYYY/MM
jinja2
、
airflow
"streaming_sessions", "setup.py" "input": "gs://{}/amazon_sessions/{{ ds_
nodash
[:4] }}/{{ ds_
nodash
[4:6] }}/amz_unlimited/input/listens_*".format( w_datalake,)
浏览 21
提问于2022-02-14
得票数 0
回答已采纳
2
回答
jQuery代码只在添加了警报()时才能工作
javascript
、
jquery
border-right: 1px dashed gray; width: 100px; .colTwo_
NoDash
itemTemplate: "<div class='comboItemContainer'><div class='colOne'>${ID}</div><div class='colTwo_
NoDash
itemTemplate: &quo
浏览 4
提问于2014-09-10
得票数 0
回答已采纳
1
回答
在气流中替换"prev_ds“和其他模板化变量
airflow
我们确实得到了可以减去的ds和ds_
nodash
,但不知道是否还有其他变量给出了前一个日期。
浏览 5
提问于2022-07-12
得票数 0
回答已采纳
1
回答
zsh补全( compctl )不对包含破折号的命令名进行触发。
command-line-interface
、
shell
、
zsh
、
completion
我的完成部分根本没有触发,它只是使用了我的标准回退完成(文件).因此,下面是一个非常简单的例子来说明这个问题:zshprompt% compctl -k '(arg1 arg2 arg3)'
nodash
# typing '
nodash
' and hitting [Tab] once:zshprompt%
nodash
arg但是这个完整的文
浏览 0
提问于2023-04-26
得票数 1
回答已采纳
1
回答
如何在json模板中传递airflow ts_
nodash
python
、
json
、
google-cloud-platform
、
airflow
、
airflow-api
source_file_names"] {"FileName":[f'Source_credit_{{{{ ts_
nodash
python_callable=api_call_func, ) 但它会导致以下响应: <filenames> <FileName>f'Source_credit_{{ ts_
nodash
<
浏览 41
提问于2021-04-08
得票数 0
回答已采纳
1
回答
如何在多个for循环的气流DAG中建立动态工作流?
google-cloud-platform
、
airflow
、
google-cloud-composer
'provide_context': True) as dag: etl_run_time_
nodash
= kwargs['ts_
nodash
'].replace('+','').replace('T','')[:-2] etl_run_time = datetime.datetime.fromtimestamp(kwarg
浏览 1
提问于2020-03-24
得票数 0
1
回答
如何使用带有
nodash
的气流宏以表名后缀
macros
、
airflow
、
airflow-scheduler
我想用
nodash
后缀宏日期到我的最后一个表。已尝试我要去拿 jinja2.exceptions.TemplateSyntaxError:预期的令牌':',得到'}‘
浏览 0
提问于2018-05-09
得票数 0
1
回答
Airflow |打印dag的开始时间
python
、
date
、
time
、
airflow
、
directed-acyclic-graphs
我需要dag_run_start_date作为时间戳,但由于某些原因,每个任务的时间戳都不同。有人有解决这个问题的办法吗? 我还想知道是否可以只打印出启动此dag或启动第一个任务的时间。 在我的情况下,什么是正确的方法? dag = DAG( start_date=datetime(2021, 11, 1),)transfer_to
浏览 25
提问于2021-11-14
得票数 0
2
回答
如何在EmailOperator任务的文件名中添加模板变量?(气流)
python
、
python-2.7
、
airflow
、
apache-airflow
我正在尝试每天发送一个给定的文件,其名称类似于‘file_{ds_
nodash
}}..csv’。local_file = 'file-{{ds_
nodash
}}.csv' task_id='send-stats-csv', dag=dag) 错误代码:没有这样的文件或目录:U‘file -{ds_<em
浏览 3
提问于2017-10-09
得票数 7
回答已采纳
1
回答
Airflow如何从代码本身获取每个dag的环境变量
airflow
我从日志中看到以下信息: 2019-02-28 16:33:14,766 {python_operator.py:95}信息-导出以下环境变量: AIRFLOW_CTX_DAG_ID=email_operator_with_log_attachment_exampleAIRFLOW_CTX_TASK_ID=python_send_email AIRFLOW_CTX_DAG_RUN_ID=manual__2019-02-28T21:32:51.357255+00:00 如何
浏览 40
提问于2019-03-01
得票数 4
回答已采纳
2
回答
对字母字符后的非字母字符(破折号)进行排序
sorting
、
sas
我尝试对数据集进行排序,如下所示input name$; ab b--; run;proc sort data=X ; by name; run;abb--但在我看来,我希望输出结果为abbb--
浏览 19
提问于2016-09-08
得票数 2
回答已采纳
1
回答
用于临时运行的气流命令行参数?
airflow
它使用模板参数({ ds_
nodash
})获取日期。但是我不得不重新运行一天的负载(过去的日期),我如何提供输入参数。输入参数将覆盖ds_
nodash
。trade_acx_ld_cmd = "/home/airflow/projects/wrapper/gen_bq_gcs_file_load.sh trade_acx.csv l1_gcb_trxn trade {{ ds_
nodash
trade_acx_ld_cmd = "/home/airflo
浏览 1
提问于2019-07-01
得票数 0
回答已采纳
1
回答
Jinja :在Hive (气流)中调用时未定义的错误
hive
、
jinja2
、
airflow
我正在设置气流中的DAG (GC Composer),并试图在我的Jinja2中使用DataProcHiveOperator模板。但我得到了一个jinja2.exceptions.UndefinedError: 'jinja' is undefined error。然而,在我的代码中没有一个地方叫“jinja”。我遗漏了什么?这是我的DAG
浏览 0
提问于2018-12-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
js高级
JS数组
JS函数
JS书写优化
D3.js 5.0.0 发布,可视化 JS 库
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券