腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
0
回答
Airflow
-
从父
文件夹
导入
、
简介:我可以通过$ python my_dag.py运行dag,但在
Airflow
UI中,它显示错误No module named 'my_file_to_be_imported'。我有一个包含dags和lutils (来自我的自定义
文件夹
)的容器,git
文件夹
在
airflow
home中映射为卷,如下所示: |──── dagsmy_dag.py文件需要读取lutils
文件夹
中的内容。' 我如何解决这个问题,使<
浏览 3
提问于2018-07-17
得票数 2
1
回答
Airflow
DAG无法
导入
根
文件夹
中的模块
我有以下
文件夹
结构 |_dag/
airflow
/ | |_ mydag.py |_myprojects/ |_proj
浏览 51
提问于2021-05-19
得票数 0
1
回答
root:尝试符号链接最新日志目录时出现OSError- Apache
Airflow
、
、
我使用的是Windows 10、python 3.6.4和apache-
airflow
1.10.2import
airflow
import
airflow
(No Error
浏览 2
提问于2019-03-27
得票数 3
1
回答
Python中的文件
导入
问题
、
、
、
下面是我的
文件夹
结构:->deployment_pipelinesrc ->__init__.py,
airflow
_dag.py->db_connector_mlflow现在,我正在尝试将函数start_final_train从train_pipeline.py(位于
文件夹
deployment_pipelin
浏览 0
提问于2020-05-15
得票数 0
1
回答
无法从其他
文件夹
导入
类
、
airflow
--mydag.py --sagemaker_tuning_operator.py
浏览 2
提问于2019-03-03
得票数 1
回答已采纳
1
回答
没有名为providers.google.cloud.operators.pubsub的模块: Google Cloud Composer
、
、
、
它需要我在我的DAG代码中添加以下
导入
语句: from
airflow
.providers.google.cloud.operators.pubsub import (PubSubDeleteTopicOperator, PubSubPublishMessageOperator,from
airflow
.providers.google.cloud.sensors.pubsubimport PubS
浏览 28
提问于2020-01-30
得票数 1
回答已采纳
3
回答
如何在IDE中
导入
气流自定义操作符、插件而不出现错误
、
首先是在(first_plugin)中创建一个插件
文件夹
,一个项目,然后创建一个python文件(first_operator.py)。如何
导入
正确的插件是一个挑战。
导入
自定义操作符有很多可能的方法。我会展示我试过的。在Pycharm
导入
过程中,这些方法都没有帮助我。例如,但是我确信,如果我忽略
导入
行,并将我的自定义守护进程放到dags
文件夹
浏览 1
提问于2020-06-07
得票数 4
2
回答
进口气流数据组时ModuleNotFoundError
、
、
我现在有一个DAG,它依赖于其他模块,而且我遇到了一个ModuleNotFound错误,它阻止了我
导入
DAG。from my_project.common_modules.module1 import *dags| my_project | __ini
浏览 15
提问于2022-07-08
得票数 0
回答已采纳
2
回答
导入
pytest的模块时出现ModuleNotFound错误
、
、
我正在尝试对我在
Airflow
中编写的一些函数运行pytest。我使用的是Python 3.8,顺便说一下。
文件夹
结构为
airflow
-- includes -- functions.py -我尝试了
airflow
文件夹
中的python -m pytest tests,同样的
导入
错误。 我对
导入
模块不是很熟悉,如果能帮助我解决这个错误,我将不胜感激。
浏览 50
提问于2021-08-02
得票数 1
回答已采纳
1
回答
用ModuleNotFoundError实现气流中的BashOperator
、
、
我有不同的
文件夹
:(其中有mycode.py)和mycode.py将使用另一个名为helpers的
文件夹
中可用的python脚本。helpers.useful_functions import formatting_date bash_command=f"cd /opt/
airflow
preprocessing_data/mycode.py " f"--query-name mycode&q
浏览 2
提问于2022-08-18
得票数 0
4
回答
/dag目录外的
Airflow
相对
导入
、
我无法将通用代码移出
airflow
使用的dag目录。我在中查找并找到了。 |──── dags │ └── dag_2.py ├── common
浏览 0
提问于2017-07-13
得票数 10
2
回答
如何使用Python在
Airflow
DAG中
导入
外部脚本?
、
、
、
我有以下结构:我尝试在inbound_layer的一些文件中
导入
脚本,如下所示:然而,我在
Airflow
web上收到以下错误信息:有什么想法吗?
浏览 92
提问于2019-05-15
得票数 4
回答已采纳
3
回答
如何在
airflow
中设置多个Dag目录
、
我为不同的python项目设置了不同的
airflow
DAG,即一个父DAG
文件夹
/vol/dags,以及基于不同python项目的DAG的子
文件夹
:/vol/dags/project1/project1例如,project1.py从同一目录下的另一个python文件
导入
函数,即/vol/dags/project1/mycalculator.py。但是当我启动
airflow
webserver时,我得到了一
浏览 0
提问于2017-04-05
得票数 9
2
回答
导入
功能时的气流码头- NameError
、
、
、
但是,当我试图在与my_scripts目录相同的级别从my_dags目录
导入
函数时,我会得到以下错误:
airflow
dags| ├── Dockerfile ├── docker-compose.yml├── trading_pipeline── __init__.py| ├── __init__.py├── __
浏览 12
提问于2022-05-11
得票数 0
1
回答
如何在气流中创建自定义操作符,并在运行于云编写器( google云平台)的气流模板中使用它们
、
、
、
我需要创建一个自定义的气流运算符,我应该能够在气流模板中使用它(用python编写),它运行在云编写器中……
浏览 0
提问于2018-11-28
得票数 7
回答已采纳
2
回答
airflow
插件未正确拾取
、
我已经将钩子放在$
AIRFLOW
_HOME/plugins目录中。home__ubuntu__
airflow
__plugins_snowflake_hook2.SnowflakeHook2'>]snowflakepluginmodule <module '
airflow
浏览 2
提问于2018-04-18
得票数 5
2
回答
Amazon无法找到自定义模块
、
、
有人知道在MWAA中
导入
简单的自定义python模块和操作符所使用的文件结构吗?
浏览 4
提问于2021-08-31
得票数 1
1
回答
无法从插件
文件夹
导入
创建的包
、
、
、
我正在使用Dockerfile和Dockerfile运行apache气流,并且我有以下气流
文件夹
结构: example_dagpf_utilsfunction _init_.py我已经从
文件夹
实用程序中创建了一个包,以便能够按照中的说明
导入
它的函数在dags和插件代码中。但是,由于不存在模块,snowflake_o
浏览 2
提问于2021-08-09
得票数 1
2
回答
即使我已经拥有了ModuleNotFoundError
、
、
、
我创建了一个utils
文件夹
,并在其中创建了一个实用程序类,供不同的DAG使用。我试图在dags/bq_ to _mysql/umc_cg_service_sync.py中
导入
这个类,我试图
导入
BigQueryToMySql类。/dags:/opt/
airflow
/dags - ./plugins:/opt/
浏览 12
提问于2022-09-14
得票数 0
1
回答
在气流中编写和
导入
自定义插件
我的自定义operators使用我的自定义hooks,所有
导入
都相对于顶级
文件夹
plugins。# my_operator.py但是,当我尝试将我的整个存储库移动到插件
文件夹
中时,在运行
airflow
list_dags之后,我会收到一个
导入
错误,说明找不到plugins。我读了一些关于它的内容,显然是气流将插件加载到它的核心模块中,这样它们就可以被
导入
,就像from
浏览 1
提问于2019-08-19
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
将文件夹中的文件名导入Excel中,这是通用的VBA程序模板
数据作业自动化调度 AirFlow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
任务流管理工具-Airflow配置和使用
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
腾讯会议
活动推荐
运营活动
广告
关闭
领券