我正试图在我的笔记本电脑上运行Airflow测试ETL pyspark作业。我已经在同一个虚拟环境中安装了Spark和Airflow。值得一提的是，我可以从虚拟环境中成功运行作业，但它在Airflow中失败。从Airflow日志中<
浏览 65提问于2021-02-24得票数 1
1回答
我有两个气流2(官方图像)和阿帕奇火花运行在一个码头-合成管道。我想通过SparkSubmitOperator ()执行一个DAG触发星火脚本，但失败了；在气流web服务器中，我可以看到以下日志：：当火花位于不同的码头容器中时，如何使用SparkSubmitOperat
浏览 3提问于2021-05-16得票数 2
回答已采纳
1回答
我试图从Redhat机器上的虚拟服务器上运行Airflow的with服务器，并使用Gunicorn配置文件中的一些配置选项。Gunicorn和气流都安装在虚拟环境中。命令airflow webserver启动气流的The服务器和Gunicorn服务器。配置文件具有确保Gunicorn只使用/接受TLSv1.2的选项，以及要使用的密码列表。但是，当我运行airflo
浏览 1提问于2018-05-10得票数 1
回答已采纳
1回答
我有一个码头-合成管道与容器，用于气流和火花。中失败了。星火应用程序只包括创建一个火花会话(我已经注释掉了所有其他内容)。当我手动运行星火应用程序(通过进入星火容器的bash并执行星火提交)时，一切都很好！这是我的船坞-复合。Here：
&airflow-common
s1 = Sp
浏览 3提问于2021-07-25得票数 0
回答已采纳
1回答
为什么我的火花网页界面不活跃？
、、、、
我创建了一个docker compose-file，其中定义了Spark、Airflow、Postgres和Flower。在我的docker-compose up -d中执行cmd之后，我得到以下输出： - Network airflow_spark_default-1 Started
浏览 2提问于2022-01-28得票数 0
设置Apache Airflow集群的最低硬件要求是什么。
例如：RAM、CPU、磁盘等，用于集群中不同类型的节点。
浏览 0提问于2017-11-14得票数 9
回答已采纳
在的项目之后，我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv，它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。我已经将我的守护文件放置在NFS服务器/var/nfs/airflow/development/<dags/logs>中。<
浏览 2提问于2019-08-01得票数 2
回答已采纳
2回答
还是我应该使用同样的venv，完全从零开始安装更新的气流版本？还是完全是别的什么？
我猜进行数据库升级将是最后一步，然后是这些步骤之一。
浏览 5提问于2022-05-18得票数 1
回答已采纳
我在cmd中运行docker-compose up airflow-init来使用提供的模板来部署气流，创建文件夹日志、插件和dags： Volume#initializing-environment
在同步从docker到文件夹的访问时，这似乎是一个错误，这在Linux或mac中通过使用echo -e "AIRFLOW_UID=$(id -u)
浏览 9提问于2021-09-18得票数 1
我对使用apache airflow非常陌生。我使用pycharm作为我的IDE。我创建了一个项目(anaconda环境)，创建了一个包含DAG定义和Bash操作符的python脚本。当我打开airflow When服务器时，我的DAGS不显示。仅显示默认示例DAG。我的AIRFLOW_HOME变量包含~/airflow。所以我在那里存储了我的pytho
浏览 2提问于2019-07-04得票数 7
回答已采纳
我知道，当您通过家庭终端运行airflow webserver时，您可以通过查看UI界面。我能做到这一点。
浏览 0提问于2017-05-12得票数 11
回答已采纳
12回答
如何安装气流？
、、
我似乎在做某事。不对。$ export AIRFLOW_HOME=~/airflowRequirement already satisfiedairflow: Command not found
Python 2.7.10
这是奇怪的-安装似乎运行良好(一些警告-没有严重)说:气流，烧瓶等成功安装
浏览 3提问于2016-05-05得票数 25
2回答
我使用的是下面的停靠-组合映像，我从以下位置获得了这个映像：x-airflow-common: &airflow-common我试图运行以下DAG：from airflow.provid
浏览 26提问于2021-06-05得票数 17
回答已采纳
我在Ubuntu 16.04上，我已经安装了带有pip的Airflow。Retrying in 1 second.如何解决LISTEN 1711/java
据我所知，这个端口是在use.But中的，那么1711/java是什么?如果我把它关掉，会不会影响到其他东西？这是<e
浏览 0提问于2017-07-29得票数 6
回答已采纳
8回答
我是Airbnb的开源工作流/数据池软件的新用户。在启动web之后，有几十个默认的示例。我尝试了很多方法来消除这些缺陷，但我没有做到。load_examples = False设置为airflow.cfg。
删除文件夹lib/python2.7/site-packages/airflow/example_dags。在我删除dags文件夹后，这些示例标记的状态被更改为灰色，但项目仍然占据web屏幕。并且在airflow.cfg中指定一个
浏览 13提问于2017-04-14得票数 94
1回答
我有一个码头-撰写文件，在其中定义的服务气流，火花，postgreSQL和雷迪斯。当我执行对接-撰写和打开气流UI，我尝试添加一个火花连接类型，以便我可以运行火花作业内部气流在码头。但是，正如您可以看到的那样，Spark作为连接类型不可见：这是我的停靠-撰写文件：-/bitnami/spark:3
浏览 11提问于2022-01-31得票数 0
我正在使用airflow bash操作符来运行spark-submit作业。spark作业需要一些参数。最后一个参数是一个字符串，可以使用"，“和"|”split将其转换为嵌套数组。提交命令示例：
spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz
浏览 12提问于2018-08-31得票数 0
在启动气流while服务器时出错2018-12-03 00:29:38,776 {models.py:271} INFO -从/User/balajee/airflow/dags填充运行Gunicorn服务器的DagBag :工人:4同步主机
浏览 0提问于2018-12-02得票数 6
要求:使用正式码头运行本地气流-使用气流2.3.0版撰写：“您正在运行pip作为根，请使用用户运行pip”我用2.2.4可以跑得很好，但用2.3.0就不行了mkdir -p ./plugins
码头客-撰
浏览 8提问于2022-05-03得票数 1
回答已采纳
3回答
我是Python的一个相对较新的用户，很难让spark-submit在气流任务中运行。我的目标是使以下DAG任务成功运行from airflow import DAG
from airflow.contrib.operators.spark_submit_operator/libs/custom-create.jar时</e
浏览 0提问于2019-08-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
