无法使用Airflow创建我的pyspark脚本的cron作业

文章/答案/技术大牛

发布

1回答

apache-spark、airflow、airflow-scheduler

我有一个pyspark脚本，它现在工作得很好，我想做的是，我想为每一分钟安排该作业，为此，我使用了Apache Airflow，我为airflow创建了一个.py文件，如下所示： from airflowimport DAG from airflow.operators.bash_operator import BashOper

浏览 24提问于2019-04-08得票数 0

2回答

Cron作业不会在外部触发气流DAG

cron、airflow

这可以通过简单地进入控制台并输入example：airflow trigger_dag tutorial (使用airflow docker图像: 1.10.9)来完成。接下来，我想看看相同的命令是否适用于常规的cron作业，就像我想要触发的cron作业时间一样。因此，我创建了一个类似以下内容的cron作业：*

浏览 21提问于2021-07-31得票数 0

1回答

您能否将BQ查询安排为每天运行并保存到表中？

google-bigquery

我有一个BQ查询，它会产生很多数据，我通常会将这些数据保存为一个新表。是否可以将此过程安排为每天进行？如果可能，推荐的方法是什么？

浏览 0提问于2018-06-28得票数 0

1回答

FileNotFoundError：[Errno 2]没有这样的文件或目录：'hdfs'：'hdfs‘在crontab中使用子进程popen

python、python-3.x、linux、hadoop、hdfs

我使用python3中的subprocess.popen在hdfs中放置文件或创建目录。在Linux shell上使用python3可以准确地运行它。但是当我使用crontab运行代码时，我在日志文件中得到"FileNotFoundError: errno2No to file or directory：'hdfs'：'hdfs'“错误。

浏览 1提问于2021-02-08得票数 2

1回答

在无SSH的Dataproc集群上触发火花提交来自气流的作业

google-cloud-platform、airflow、spark-submit、dataproc

目前，我们正在使用BashOperator & BashCommand在气流中执行星火提交命令，但是我们的客户端不允许我们在集群中执行SSH命令，这样就可以在不执行SSH命令的情况下从气流执行Spark-submit

浏览 3提问于2022-04-25得票数 0

回答已采纳

1回答

AWS EMR上的Airflow Livy作业转包

apache-spark、pyspark、airflow、amazon-emr、livy

我们正在使用Airflow来计划我们在电子病历上的作业，目前我们想使用apache Livy通过Airflow提交Spark作业，我需要更多的指导如下:哪种Airflow-Livy操作符我们应该用于python、3+、pyspark和scala作业。我看过以下内容：和想知道更多关于稳定的AirflowLivy操作符，任何人在生产中使用<

浏览 4提问于2020-04-13得票数 0

2回答

SparkSubmitOperator与SSHOperator在airflow中提交pyspark应用程序的比较

airflow-scheduler、spark-submit、airflow、apache-spark-2.3

我有不同的spark和airflow服务器。我没有在airflow服务器上安装spark二进制文件。我能够很好地使用SSHOperator并在集群模式下运行spark作业。我想知道从长远来看，使用SSHOperator或SparkSubmitOperator提交pyspark作业会有什么好处。任何帮助都会提前表示感谢。

浏览 9提问于2020-06-25得票数 1

5回答

Airflow:通过UI在airflow中创建DAG

airflow、airflow-scheduler

Airflow老兵请帮帮忙我正在寻找cron的替代品，偶然发现了apache airflow。我们有一个设置，其中多个用户应该能够创建他们自己的DAG并计划他们的作业。我们的用户是可能不知道如何编写DAG python文件的混合用户。此外，他们可能无法访问运行airflow的服务器。是否可以通过UI创建气流DAG。

浏览 155提问于2018-02-26得票数 21

回答已采纳

1回答

在另一个Docker容器中运行AirFlow任务

docker、airflow

我正在考虑实现AirFlow，并没有以前的经验。如果我将BashOperator与命令(如docker exec

浏览 8提问于2022-08-04得票数 0

回答已采纳

2回答

我的计划：将所有数据处理移到星火(最好是PySpark)，最终输出(面向消费者)数据只转到Redshift。星星之火似乎能很好地连接到所有不同的源(Dynamo、S3、Redshift)。这避免了多个Redshift集群、损坏/过度使用内部不受支持的ETL工具、跨集群、视图和表等复制相同的数据(这是当前的设置)。另一种选择是AWS数据管道，但是，Luigi似乎有一个更好的UI来处理涉及许多依赖项的情况

浏览 1提问于2018-09-20得票数 0

1回答

如何在另一个模块中使用相同的spark会话

python、apache-spark、pyspark、apache-spark-sql、airflow

我必须用两个任务在Airflow中运行两个模块。每个任务都有一个执行一些spark操作的PySpark模块。第二个模块使用在前一个会话中创建的数据帧并继续其操作。同样的SparkSession初始化，如何实现同样的效果？我尝试使用getActiveSession()，但由于任务1作业已完成，因此无法工作，因此当任务2运行时，会创建一个新的

浏览 32提问于2021-11-23得票数 0

2回答

您能从Dataproc触发Python脚本吗？

python、hadoop、google-cloud-platform、google-cloud-dataproc、gcs

我在用GCP做实验。我在Hadoop有一个本地环境。它由存储在HDFS上的文件和一堆编写API调用并触发猪作业的python脚本组成。这些python作业是通过cron调度的。我想了解在GCP中做类似事情的最佳方法。我知道我可以使用GCS作为HDFS的替代品。该Dataproc可用于拆分Hadoop集群并运行Pig作业<

浏览 10提问于2022-03-31得票数 2

回答已采纳

2回答

云数据流作业的调度

python、google-bigquery、airflow、google-cloud-dataflow

所以，我已经完成了在Dataflow中创建一个工作。此工作处理ETL从PostgreSQL到BigQuery。所以，我不知道用气流来做调度。如何利用气流来共享作业数据流？谢谢

浏览 17提问于2022-12-02得票数 0

2回答

没有在Python和Mac上运行的Cronjob

python、cron

我正在尝试测试一个简单的cronjob，当我检查cronjob是否已经执行时，它会显示它已经执行，但是没有创建任何文件作为任务的一部分。#!/usr/bin/env python3job = my_cron.new

浏览 4提问于2020-03-05得票数 0

回答已采纳

1回答

wordpress网站上的cron作业正在生成致命错误

php、wordpress

我确实为我的wordpress站点中的一个脚本创建了一个cron作业，它使用了一个主题。当使用cron调用该脚本时，它不能正常工作。脚本中某些函数无法识别，因为脚本看不到它们，并将它们报告为未定义的函数。Fatal error: Call to undefined function get_option() <

浏览 0提问于2013-05-10得票数 1

1回答

使用DataProcPySparkOperator时无法配置GCP项目

python-3.x、google-cloud-platform、airflow、google-cloud-composer

我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。要<em

浏览 22提问于2020-08-13得票数 0

回答已采纳

4回答

使用Airflow* _DataProcJob挂钩禁用dataproc中的附加作业*

python-3.x、google-cloud-platform、airflow

我使用通过airflow在GCP dataproc中运行作业。在每个作业执行之前，使用检查该作业是否可以附加到以前执行的作业的钩子。附加作业时，除非我删除前一个(附加的)作业，否则dataprock不会执行该作业有什么方法可以禁用附件吗？这是钩子中创建</e

浏览 1提问于2020-06-03得票数 3

2回答

Ubuntu + cron上的Postgres备份脚本

bash、postgresql、automation、backup

我试图让一个自动备份脚本运行。我认为这与用户权利有关。Cron原木： Making backup direct

浏览 0提问于2013-09-24得票数 1

回答已采纳

4回答

cron作业成功执行php脚本，但无法保存文件或创建目录

php、cron、shared-hosting

我有一个php脚本托管在共享主机服务器，我已经创建了cron作业执行脚本每5m。Cron作业按预期执行了脚本，但是它无法创建目录和保存文件(当我手动执行它时，它可以工作)。下面是我的cron命令： /usr/local/bin/php /home/myusername&

浏览 0提问于2019-02-18得票数 0

3回答

Cron的工作会覆盖自己吗？

linux、bash、unix、ubuntu

我似乎无法让我的脚本通过cron在Ubuntu 14上每分钟并行运行。我需要

浏览 7提问于2015-07-07得票数 0

回答已采纳

点击加载更多