腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
Apache
Airflow
中
更改
工作
目录
和
指定
conda
环境
python
、
airflow
、
conda
、
directed-acyclic-graphs
我有一个
工作
流,我想移动到
Airflow
中
,该
工作
流由多个Python脚本组成,需要在我创建的
Conda
环境
中
运行。此时,我正在使用BashOperator运行一个外壳脚本,该脚本激活我的
环境
,然后运行python代码,但随着我向
工作
流
中
添加更多Python脚本,这将变得混乱。bash_command='bash -i /home/lnxuser/PycharmProjects
浏览 39
提问于2021-02-09
得票数 1
2
回答
如
何在
虚拟
环境
中使用
apache
airflow
?
python
、
airflow
、
virtualenv
、
directed-acyclic-graphs
我对使用
apache
airflow
非常陌生。我使用pycharm作为我的IDE。我创建了一个项目(anaconda
环境
),创建了一个包含DAG定义
和
Bash操作符的python脚本。当我打开
airflow
When服务器时,我的DAGS不显示。仅显示默认示例DAG。我的
AIRFLOW
_HOME变量包含~/
airflow
。所以我在那里存储了我的python脚本,现在它显示出来了。如
何在
项目
环境
中使用它? 我是否要在每个项目开
浏览 2
提问于2019-07-04
得票数 7
回答已采纳
2
回答
成功安装python依赖项后,MWAA的Web
中
没有添加连接类型
airflow
、
amazon
、
mwaa
我已经成功地启用了MWAA
环境
(气流版本: 2.0.2),并为MSSQL、MySQL
和
Oracle安装了python依赖项。但是这3个数据库的连接并没有添加到Web的下拉列表
中
。有什么想法吗?我已经检查了Cloudwatch上的日志,以了解调度程序的需求安装,它说所有安装都成功了,如下所示: Successfully installed
apache
-
airflow
-providers-microsoft-mssql-1.1.0
apache
-
airflow
-p
浏览 2
提问于2021-06-22
得票数 1
1
回答
如何从安装在基本
环境
中
的
Conda
4.3更新?
anaconda
、
conda
、
miniconda
我已将
conda
更新(或安装)到高于4.3的版本,但出于测试目的,我安装了
conda
=4.3。现在,我不能在激活base
环境
下将
conda
更新回更高的版本。$
conda
update
conda
package name:
浏览 0
提问于2018-03-28
得票数 2
回答已采纳
1
回答
在输入/离开
目录
时激活/停用
conda
虚拟主机
bash
、
anaconda
、
conda
提供了一种很好的方式,可以在输入或离开
目录
时激活
环境
,该
目录
包含一个
指定
要激活的
环境
的.python-version文本文件。它适用于它所在的
目录
和
包含在其中的所有
目录
。一旦我们将
目录
更改
为上面的
目录
,
环境
就会被停用。这允许使用不同版本的python轻松地在项目或分析之间切换(只需
更改
目录
)。 有没有办法
和
(ana)
co
浏览 2
提问于2019-11-12
得票数 2
回答已采纳
1
回答
root:尝试符号链接最新日志
目录
时出现OSError-
Apache
Airflow
python
、
windows-10
、
airflow
我使用的是Windows 10、python 3.6.4
和
apache
-
airflow
1.10.2import
airflow
i
浏览 2
提问于2019-03-27
得票数 3
1
回答
Airflow
webserver服务器gettins值错误:Samesite
python
、
anaconda
、
airflow
我使用Anaconda在我的一个
环境
中
安装了
Airflow
1.10.12。但是当我尝试遵循快速入门指南(在https://
airflow
.
apache
.org/docs/stable/start.html)访问后出现以下错误http://localhost:8080/admin我试着把cookie_samesite
中
的变量default_
airflow
.cfg 将“文件”设置为“无”、“宽
浏览 45
提问于2020-11-23
得票数 7
回答已采纳
2
回答
如
何在
GCP编写器
环境
(1.10.6)中使用SFTPToGCSOperator?
google-cloud-platform
、
google-cloud-composer
、
airflow
这里我想在GCP的composer
环境
(1.10.6)中使用SFTPToGCSOperator。我知道有一个限制,因为操作员只存在于最新版本的
airflow
中
,而不存在于composer最新版本1.10.6
中
。请参阅以下参考资料-我已经创建了一个插件类,稍后将其导入到我的DAG脚本
中
。(DIR, OBJECT_SRC_1), 除了这个,如果我们使用通配符,我的意思是,如果我们想要移动
目录</
浏览 4
提问于2020-05-13
得票数 2
1
回答
更改
默认气流配置选项(在码头上运行)
docker
、
docker-compose
、
yaml
、
airflow
在遵循指南时,我可以启动容器,一切都
如
预期的那样
工作
。_
AIRFLOW
_WWW_USER_PASSWORD='password' 为了使用这些
环境
变量,我还对dock
浏览 4
提问于2022-11-12
得票数 0
回答已采纳
1
回答
虚拟
conda
环境
下流光路径的设置
windows
、
configuration
、
virtualenv
、
conda
、
streamlit
我有一个
Conda
虚拟
环境
。安装了Python,熊猫,矮胖
和
流光。“”““”“
如
您所见,该文件位于te、virt、env等文件
中
。问:
浏览 5
提问于2020-07-26
得票数 0
1
回答
conda
env移动错误:
conda
-script.py创建:错误:参数-n/-名称:不允许与参数-p/-前缀
python
、
anaconda
、
conda
我想移动
conda
环境
,但是没有
conda
命令。 我猜这是因为
conda
“硬链接”包到
环境
和
运行时配置变量,而
conda
索引或Anaconda索引
和
硬链接没有被正确更新。中
指定
新的(命名的)
环境
包,并自己
指定
位置(在我的例子
中
是C:\\Users\\richadmin\\.
conda
\\envs\\topss),而不是Anaconda默认设置。它可以
工作<
浏览 13
提问于2020-07-02
得票数 1
1
回答
如
何在
jupyter笔记本
中
的相同
环境
中切换python包的本地副本
和
基础副本进行开发
python
、
package
、
jupyter
、
local
、
environment
大多数人的回答是使用virtualenv,然后只需链接到virtualenv文档,该文档假定您非常熟悉管理包
和
环境
,所以我很难弄清楚如何实际使用它。 我正在对现有的python包进行
更改
。我将GitHub存储库克隆到本地文件夹,创建了一个分支,并且正在修改该分支
中
的包(使用Jupyter Lab)。所有这些都发生在安装了原始包的
conda
环境
中
。我使用的是Windows。我还希望能够在原始版本和我的版本之间来回切换,以比较我所做
更改
的效果。 我熟悉使用
浏览 15
提问于2020-10-17
得票数 0
回答已采纳
9
回答
在启动气流网络服务器时如何解决“错误:没有模块名为'
airflow
.www'”
airflow
在启动气流while服务器时出错2018-12-03 00:29:38,776 {models.py:271} INFO -从/User/balajee/
airflow
/dags填充运行Gunicorn服务器的DagBag :工人:4同步主机: 0.0.0.0:8080超时: 120 日志档案:
浏览 0
提问于2018-12-02
得票数 6
1
回答
如何使用窗口10
中
的对接器组合正确设置气流
环境
变量?气流-init_1错误:
AIRFLOW
_UID未设置
docker
、
docker-compose
、
airflow
我在cmd
中
运行docker-compose up
airflow
-init来使用提供的模板来部署气流,创建文件夹日志、插件
和
dags: Volumevariables:
airflow
-init_1 | https://
airflow
.
apache
.org/docs/
apache
-
airflow
/sta
浏览 9
提问于2021-09-18
得票数 1
1
回答
指定
通过
airflow
运行的.py文件所需的依赖项
python
、
docker
、
airflow
、
scheduled-tasks
我正在尝试自动化的过程,每天运行一个webscraper与
apache
气流
和
码头。我已经启动并运行了气流服务器,我可以通过本地服务器上的气流GUI手动初始化我的守护进程,但是它失败了。我怀疑问题在于刮板使用的依赖关系,但我不确定如何集成配置文件
和
通过
apache
/ docker运行脚本所需的其他包。from
airflow
.models import DAG from
airflow
.oper
浏览 11
提问于2022-08-28
得票数 0
回答已采纳
2
回答
如
何在
分布式气流结构上配置芹菜工人?
docker
、
docker-compose
、
celery
、
airflow
在我的初始测试
中
,当我在同一台主机上运行所有东西时,我让体系结构
工作
得很好。问题是,如
何在
远程主机上启动芹菜工人?在经过修剪的版本
中
,我
更改
了URL,以便它们指向运行db
和
redis的主机。我应该如何进行配置?芹菜工人码头-组成配置:version: '3' &
airflow</
浏览 19
提问于2021-06-30
得票数 7
回答已采纳
2
回答
Conda
和
conda
-锻造来安装所有
conda
环境
中
可用的命令
mercurial
、
anaconda
、
conda
、
conda-forge
我希望在一个特定的
conda
环境
中
安装
conda
程序,并能够使用来自所有
conda
环境
的相关命令。我的目标是允许学生在任何平台(特别是TortoiseHg)上安装Mercurial (加上很少的Mercurial扩展
和
相关实用程序,
如
Meld
和
TortoiseHg),只需一个简单的命令(或几个简单的命令要使它从其他
环境
(以及在基本
环境
中
)可用,需要将包含hg的
目录
浏览 0
提问于2019-04-12
得票数 4
1
回答
使用来自
环境
的气流连接而不是数据库
python
、
https
、
airflow
在windows机器上,为了让get_conn()在
airflow
中
工作
,我们需要在它前面加上
AIRFLOW
_CONN
和
conn_id。这将使用base_hook _get_connection_from_env
中
的以下内容 我通常对连接字符串
中
包含受信任身份验证的MSSQL连接执行此操作。现在我需要使用HTTP钩子来执行此操作,但是我不确定如何将登录
和
密码信息包含到
环境
变量值
中
。我尝试使用&字符来分隔登录<
浏览 1
提问于2019-08-31
得票数 0
12
回答
如何安装气流?
ubuntu
、
pip
、
airflow
$ export
AIRFLOW
_HOME=~/
airflow
Requirement already satisfied
airflow
: Command not found Python 2.7.10 这是奇怪的-安装似乎运行良好(一些警告-没有严重)说:气流,烧瓶等成功安装
浏览 3
提问于2016-05-05
得票数 25
5
回答
如何禁用
Airflow
登录以进行身份验证
和
授权?
python-3.x
、
flask
、
airflow
、
flask-appbuilder
我有一个
apache
airflow
分支,我想在代理服务器后面运行它。所有的身份验证都将在
airflow
之外处理,因此我不希望客户再次使用另一组凭据登录。有没有办法从
airflow
中
完全删除/禁用身份验证?
浏览 1
提问于2019-08-28
得票数 13
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
手把手教你上手Apache DolphinScheduler机器学习工作流
AWS推出Apache Airflow全托管工作流MWAA
大规模运行Apache Airflow的经验和教训
anaconda和pycharm中若干问题总结
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券