腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Kubernete
中
的
BashOperator
运行
CLI
命令
bash
、
kubernetes
、
command-line-interface
、
airflow
我们将airflow架构
从
Celery迁移到
Kubernete
Executor。我正在使用bash
命令
运行
下一个dag,而主链
中
的
前一个dag已经完成: my_task_1 = bash.
BashOperator
(dag=dag,) 但遗憾
的
是,我想不出如何
从
浏览 12
提问于2021-10-17
得票数 0
1
回答
气流
BashOperator
-使用不同
的
角色然后使用它
的
吊舱角色
amazon-web-services
、
airflow
、
amazon-eks
、
airflow-scheduler
、
airflow-2.x
作为在
BashOperator
中
运行
bash脚本
的
一部分,我尝试
运行
以下
命令
:aws
cli
cp ... ...脚本成功
运行
,但是aws
cli
命令
返回错误,表明aws
cli
没有使用所需
的
权限
运行
(如airflow-worker-node角色
中
定义
的
浏览 3
提问于2022-01-11
得票数 0
回答已采纳
1
回答
配置spark-submit到远程AWS EMR集群
apache-spark
、
amazon-ec2
、
hadoop-yarn
、
airflow
、
amazon-emr
我们正在尝试提交一个
BashOperator
DAG,它为一个简单
的
字数统计应用程序
运行
spark-submit
命令
。下面是我们
的
spark提交
命令
: .,必须在环境
中
设置HADOOP_CONF_DIR或YARN_CONF_DIR。到目前为止,我们已经在.bashrc
的
EC2实例中将HADOOP_CONF_DIR和YARN_CONF_DIR设置为/etc/hadoop/,并将spark-env.sh
从
EM
浏览 0
提问于2019-07-19
得票数 0
2
回答
什么时候使用`apply`,什么时候使用`rollout`?
kubernetes
我是
kubernete
的
新手,对apply和rollout
命令
有一点困惑。如果我更新
kubernete
配置文件,我应该使用kubectl apply -f还是kubectl rollout 如果我更新
kubernete
配置并
运行
kubectl apply -f,它将终止正在
运行
的
pod并创建一个新
的
pod。但是rollout也有用于重启pod
的
restart
命令
。那么我什么时候应该使用rollout
浏览 3
提问于2021-03-01
得票数 2
2
回答
如何
运行
一个简单
的
气流DAG
python
、
airflow
我想在指定
的
日期
运行
一个简单
的
DAG。我正在努力改变开始日期、执行日期和回填之间
的
差异。
运行
DAG
的
命令
是什么?以下是我尝试过
的
:当我第一次
运行
该
命令
时,任务正确地执行,但是当我再次尝试时,它没有工作。下面是我
运行
的
另一个
命令
: airflow backfill dag_1 -s 2017-1
浏览 7
提问于2017-01-23
得票数 20
回答已采纳
2
回答
气流测试模式xcom pull/push不工作
testing
、
airflow
我尝试通过airflow
cli
test
命令
测试两个任务`当我通过airflow
cli
test
命令
运行
第二个任务时,我只是得到了None作为返回值,但正如我在这里读到
的
:它应该工作,至少xcom_push是明显工作
的
,为什么不是xcom_pull?示例代码: t1 =
BashOperator</em
浏览 16
提问于2019-11-15
得票数 0
1
回答
Kubernetes env变量没有在后缀
cli
中
工作
kubernetes
、
environment-variables
、
sequelize.js
、
skaffold
我试图
运行
以下
命令
:sequelize-
cli
使用一个包含以下内容
的
.但是,如果进入Express应用程序所在
的
index.js
中
,与console.log相同,则返回预期值。在所有这些过程
中
,我使用skaffold.yaml和minikube
运行
Kubernete
。 是否有一种方法可以在不创建.env
的
情况下
运行
这些<e
浏览 1
提问于2019-10-19
得票数 2
回答已采纳
1
回答
是否有一种设计模式可以定期更新kubernetes
中
的
数据库而没有不一致?
kubernetes
、
kubernetes-pod
我在Kubernetes集群中有一个简单
的
Node.js API服务,它连接到一个MongoDB。这个应用程序将删除数据库
中
的
所有数据,并每十分钟填充一次新数据。在我当前
的
设置
中
,我有一个用于API
的
NodePort服务和一个用于DB
的
ClusterIP服务。我认为只要有服务,一切都能正常工作。但是,我担心如果Node.js
的
数量不是一个,而是10个,它会在10个不同
的
时间删除和上传数据库。 是否有任何方法确保无论有多少Node.js
浏览 2
提问于2021-02-11
得票数 0
回答已采纳
2
回答
在气流任务中使用python子进程执行gcloud
命令
python
、
airflow
、
gcloud
我想要构建使用多个gcloud
命令
的
气流任务。一个简单
的
例子: exe = subprocess.run(["gcloud", "compute", "instances", "list"],我有一个错误: ERROR: gcloud crashed (AttributeError): 'NoneType' object has no attribute 'isatty
浏览 7
提问于2022-08-04
得票数 0
1
回答
如何使用bash
命令
查找docker守护程序API URL
python
、
docker
我想找出docker守护进程
的
‘引擎API URL’,以便
从
Pycharm连接到它。我在Airflow上
运行
python代码,其中DAG执行带有docker
命令
的
BashOperator
。我应该向
BashOperator
传递什么才能知道API URL。我尝试了“docker inspect”,但它没有返回任何可以让我更接近答案
的
东西。
浏览 3
提问于2020-09-21
得票数 0
4
回答
以编程方式清除气流任务实例
的
状态
airflow
、
airflow-scheduler
当DAG 完成执行时,我想清除DAG
中
的
任务。A和B都是计划
的
DAG。 我知道和Web选项可以清除这些任务。
浏览 15
提问于2019-10-01
得票数 3
1
回答
如何更新工作节点上
的
gcloud?
python
、
google-cloud-platform
、
airflow
、
gcloud
、
google-cloud-composer
这里也有一个类似的问题,但从2018年开始,解决方案需要改变工人
的
基本形象。另一个建议是将ssh放入每个节点并在其中安装apt。这似乎并不有用,因为当自动缩放生成新节点时,您需要一次又一次地这样做。总之,有什么合理
的
方法可以在2020年后期升级gcloud
的
基础系统吗?
浏览 4
提问于2020-09-19
得票数 0
回答已采纳
1
回答
如何使用composer DAG递归地
从
GCP存储桶
中
读取文件名
google-cloud-platform
、
composer-php
、
airflow
、
directed-acyclic-graphs
我正在尝试使用composer DAG
从
所有文件夹、桶下
的
子文件夹递归地读取GCS
中
的
文件名。有可能吗?例如,我有桶与相应
的
文件夹和子文件夹,如下所述。静态是桶名。file2.json静态/folder1 1/subfolder2 3/file3.json静态/folder1 1/subfolder2 3/file4.json 我想递归地读取文件,并将数据放入两个变量
中
,
浏览 1
提问于2019-11-19
得票数 1
回答已采纳
1
回答
选择节点以使用
Kubernete
执行Nextflow工作流
kubernetes
、
kubernetes-pod
、
nextflow
我可以访问一个有很多节点
的
集群。我正在使用以下
命令
运行
我
的
Nextflow工作流: .nextflow.config -profile kubernetes -v my_pvc:/mounted_path -with-report _report.html -with-trace _trace 我想在一组特定
的
节点上
运行
我
的
kubectl label nodes node3 disktype=my_experiment
从
Nextflow和<
浏览 84
提问于2021-08-11
得票数 1
回答已采纳
3
回答
如何在Cloud Composer中使用<file.yaml>`运算符
从
DAG
运行
` `kubectl -f apply <file.yaml>`?
kubernetes
、
google-cloud-composer
我正在尝试应用一个配置文件,以便使用
BashOperator
从
Cloud Compose创建一个POD 首先,我尝试使用PodOperator,但它不允许传递规范文件,它只是
从
映像构建。我尝试使用
BashOperator
,因为worker已经包含了gcloud、kubectl等。 但每次
运行
命令
时,我都会收到一些参数错误或gcloud sdk错误。我尝试
运行
单个kubectl
命令
,kubectl确实安装在worker上。 我之前尝试过为集群设置配置,但
浏览 24
提问于2019-07-04
得票数 3
回答已采纳
1
回答
BashOperator
为在其他PythonOperators中使用
的
库引发ImportError
python
、
airflow
我在我
的
dag构建器模块中有一组任务,它使用Python操作符,就像全世界在Airflow中使用
的
那样。我正在kubernetes上使用docker部署airflow。使用pandas
的
其他任务也是成功
的
。 是的,我确实进入了容器(工作人员),并发现pip3 freeze确实出现了熊猫。
浏览 15
提问于2018-12-13
得票数 2
1
回答
composer
中
的
bash操作符,用于将最新文件从一个GCS存储桶复制到另一个GCS存储桶
bash
、
google-cloud-platform
、
google-cloud-storage
、
airflow
我编写了以下
运行
BashOperator
的
DAG脚本(python代码)。这很奇怪,因为当我将bash
命令
启动到我
的
终端
中
时,bash
命令
可以顺利地工作。但是当我将它包装到气流DAG
中
的
BashOperatgor
中
时,同样
的
命令
。 这段代码
的
目的是将(今天
的
)最后一个文件从一个GCS存储桶复制到另一个存储桶。代码如下:
从
air
浏览 11
提问于2019-01-02
得票数 0
1
回答
无法调度具有执行单元查询
的
shell脚本
的
气流作业
python
、
bash
、
hive
、
airflow
我正在尝试安排一个包含一些单元查询
的
shell脚本。PythonOperator, BranchPythonOperatorfrom datetime importTEXTFILETBLPROPERTIES("skip.header.line.count"="1"); 作业成功启动,但是当它在shell脚本
中
遇到cd和h
浏览 3
提问于2022-01-19
得票数 0
2
回答
在python subprocess.Popen
中
传递日期参数
python
、
python-3.x
、
subprocess
、
airflow
我正在python subprocess.Popen
中
运行
一个
命令
。下面的线很好用!"airflow", "db", "clean", "--verbose", "--clean-before-timestamp", "2022-07-29"]) 但是,我试图用一个变量替换日期,以便
从
当前日期追溯到过去subprocess.Popen(["airflow", "db"
浏览 5
提问于2022-08-30
得票数 0
回答已采纳
2
回答
阿帕奇Airflow:操作员将s3复制到s3
amazon-s3
、
airflow
在airflow
中
,将文件从一个s3复制到另一个s3
的
最佳操作员是什么?我
的
要求是将确切
的
文件
从
源复制到目标。
浏览 1
提问于2019-03-13
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在 Linux 中的特定时间运行命令
Houdini中运行Nuke后台命令遇到的问题以及解决方案
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
Ansible 2 Api 源码分析及实现
Node.js CLI 工具最佳实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券