当并行度设置为大量时，Airflow scheduler启动时出现异常
可能是由于以下原因之一：
- 资源限制：当并行度设置为大量时，Airflow scheduler需要消耗大量的计算资源和内存。如果系统资源不足，可能会导致scheduler启动异常。解决方法可以是增加系统资源，例如增加服务器的内存或CPU。
- 调度器配置：Airflow scheduler的配置可能需要根据并行度的设置进行调整。可以检查调度器的配置文件，确保配置参数与并行度设置相匹配。特别是，需要关注调度器的并发执行数、任务超时时间等参数的设置。
- 数据库连接限制：Airflow使用数据库来存储任务和调度信息。当并行度设置为大量时，可能会导致数据库连接的并发限制。可以尝试增加数据库连接池的大小，或者使用更高性能的数据库。
- 任务依赖关系：当并行度设置为大量时，任务之间的依赖关系可能会变得更加复杂。如果存在循环依赖或者任务之间的依赖关系无法满足，可能会导致scheduler启动异常。可以检查任务之间的依赖关系，确保其正确性和完整性。
- 日志和错误处理：当并行度设置为大量时，任务执行过程中可能会产生大量的日志和错误信息。如果日志和错误处理机制不完善，可能会导致scheduler启动异常。可以检查日志和错误处理的配置，确保其能够处理大量的日志和错误信息。
腾讯云相关产品推荐：
- 云服务器（CVM）：提供高性能、可扩展的云服务器实例，满足大规模并行计算的需求。链接：https://cloud.tencent.com/product/cvm
- 弹性MapReduce（EMR）：基于Hadoop和Spark的大数据处理服务，支持高并发的数据处理和分析。链接：https://cloud.tencent.com/product/emr
- 云数据库MySQL版：提供高可用、可扩展的云数据库服务，适用于存储和管理大量的任务和调度信息。链接：https://cloud.tencent.com/product/cdb_mysql
- 人工智能机器学习平台（AI Lab）：提供丰富的人工智能算法和模型训练平台，支持并行计算和大规模数据处理。链接：https://cloud.tencent.com/product/ailab
请注意，以上推荐的产品仅为示例，具体的选择应根据实际需求和情况进行。
相关·内容
我是新接触Airflow的，我正在尝试使用airflow来构建数据管道，但它总是遇到一些例外。我的airflow.cfg是这样的：sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@= postgresql+psycopg2://airflow:airflow@localhost/airflow</e
浏览 30提问于2019-11-20得票数 1
2回答
我已经在本地安装了airflow，我正在更改执行器以运行并行任务，我更改了 1-从数据库到Postgres 13.3 2-在配置文件sql_alchemy_conn = postgresql+psycopg2://postgres:postgres@localhost/postgres中 3-执行器= LocalExecutor 我已使用airflow DB check --> INFO - Connectionairflow数据库初始化-->初始化完成 我收到的错误，但我根本不使
浏览 196提问于2021-06-28得票数 0
回答已采纳
airflow can服务器可以正常运行。mysql+pymysql://root:mypassword@localhost:3306/airflow : airflow.cfg: sql_alchemy_conn
浏览 1提问于2019-10-24得票数 1
设置Apache Airflow集群的最低硬件要求是什么。
例如：RAM、CPU、磁盘等，用于集群中不同类型的节点。
浏览 0提问于2017-11-14得票数 9
回答已采纳
1回答
有没有什么经验法则可以用来计算基于并行任务的调度器需要多少内存？
除了降低并行度之外，是否有任何调整可以用来减少调度器本身的内存使用？总共大约有40个任务，但并不是所有的任务都是并行运行的，因为它们中的一些是下游的，依赖关系等等，我们的并行度设置为10，如上所述只有一个worker，dag_concurrency设置为5。20 0 836700 127212 23908 S 36.5 0.4 0:01.19
浏览 92提问于2018-08-28得票数 5
回答已采纳
我使用的是Airflow v1.8.1，并在kubernetes & Docker上运行所有组件(worker、web、flower、scheduler)。并按如下方式设置并发相关配置：dag_concurrency = 3然后，当我手动运行这个DAG时(不确定它是否从未在计划任务上发生过ExtDeprecationWarning
[2017-08-24 04:20:56,496] [51] {models.py:168} INFO - F
浏览 3提问于2017-08-24得票数 25
最近我们将气流从1.8升级到1.10.1，我们发现气流服务不再在/var/log/airflow中写入日志。我们使用自定义命令来运行气流服务，甚至这些命令也不会写入命令中指定的日志文件：-nohup w
浏览 0提问于2019-02-27得票数 2
回答已采纳
2回答
我在过去使用过Joblib和Airflow，没有遇到过这个问题。我正在尝试通过Airflow运行一个作业，该作业使用Joblib进行并行计算。当Airflow作业启动时，我看到以下警告
UserWarning: Loky-backed parallel loops cannot be called in multiprocessing, setting中运行过类似的函数，并没有触发这个条件来将n_jobs设置为1。我想知道这是不是某种版本问题(使用<e
浏览 8提问于2021-07-09得票数 9
我有一个示例k8s作业，只要您应用kubectl，该作业就会被触发并创建pods。如何控制pod的创建？kind: Job name: pi-with-timeout backoffLimit: 5 template: containers: image: perl
command: ["perl", "-Mbignum=bpi
浏览 0提问于2020-02-06得票数 2
例如，我有一个Kubernetes作业，它的并行度设置为4。当创建此作业时，我可能希望将其扩展到8。但似乎edit设置作业并将并行度设置为8实际上并不会在作业中创建更多的pod。
我是不是遗漏了什么？
浏览 0提问于2019-05-09得票数 8
1回答
与默认maxdop并行运行的查询
、、、、
系统有4个CPU，超线程比率为20，这使得80个逻辑处理器依赖于我的sql服务器实例。这是一个只读实例，作为LS的备用实例，所有报告都在这里完成。大量的查询似乎显示出运行的并行度为64。
问题：.1。当逻辑处理器中没有80时，为什么并行度不是80？我的理解是正确的，如果有6个慢速查询运行超过一个小时，那么所有显示并行度的64
浏览 0提问于2019-03-19得票数 5
回答已采纳
SubDag中只有1个任务可以处理，这不是它应该执行的方式，我们对SubDag的并发设置是8。如下所示：get_monthly_summary-214和get_monthly_summary-215是两个SubDags，它可以在并行控制器中由父dag并发运行但是，当放大SubDag时说当我们检查SubDag并发性时，它实际上是我们在代码中指定的8：
我们设置了池槽大小，它是32，我们有8个芹菜工人来接排队的任务，与并发相关的气流配置如下所示：
# The amount
浏览 2提问于2019-05-09得票数 12
窗口函数的并行度均为1。我们形成窗口函数输出的并集，并将其传递给另一个map函数，然后将其发送到接收器。 我们需要两个map函数的并行度来获得环境的并行度。正如预期的那样，窗口函数的并行度确实是1。我们为每个任务管理器设置了1个插槽。 问题是，当我们将环境的并行度设置为大于1时，所有窗口函数任务最终只会转到第一个任务管理器。事件
浏览 48提问于2020-08-08得票数 0
回答已采纳
当使用joinStream连接两个流时，我不能设置joinStream的并行度，它总是为1 aStream.assignTimestampsAndWatermarks(new AWatermarks(有没有办法设置JoinStream的并行度？
浏览 15提问于2020-12-07得票数 0
在AWS管理器节点上，有set服务器、调度器和三个工作进程在运行，我将redis作为消息代理，设置了celery executor，以及将flower作为监控工具。奇怪的是，如果环境AIRFLOW__LOGGING__LOGGING_LEVEL设置为DEBUG，则运行状况检查会起作用，但如果它在INFO中，则不起作用。当我试图调试这个问题时，我遇到了这种行为。这非常烦人，因为调试日志占用了大量的磁盘空间，而这显然不是我们想要的行为 我的设置如下: airflow
浏览 32提问于2021-06-28得票数 1
当生产状态从生产状态变为非生产状态时，我将清除生产的时间戳列表，反之亦然，因此如果生产再次开始，持续时间将从零开始。
我查看了收集各自时间戳的两个列表，发现了一些我不理解的东西。
浏览 0提问于2018-10-30得票数 1
我正在使用PythonOperator调用一个函数，该函数将数据工程过程并行化为一个气流任务。这只需用Airflow调用的可调用包装器函数包装一个简单的函数即可。def wrapper(ds, **kwargs):
process_data() process_data使用派生子进程的多处理模块实现并行化。当我在jupyter notebook上单独运行process_data时，它一直运行到最后都没有问题。但是，当我使用Airflow运行它时，任务失败，任务的日志显示如下所示。
浏览 175提问于2019-01-23得票数 22
回答已采纳
1回答
查找.NET多线程瓶颈
、、、
我有一个并行运行大量模拟的.NET应用程序。它正在进行参数扫描，因此每个参数都有自己的Parallel.Foreach循环。我通常在除一个循环之外的所有循环中将最大并行度设置为1，以降低内存需求，因为每个参数可以接受的值比我拥有的可用内核多(4)。
应用程序完全受CPU限制，只有在结束时执行I/O才能写出结果。无论我把并行度提高到什么程度(通过控制循环上的最大并行度)，我总是得到大约50%
浏览 1提问于2010-07-12得票数 3
回答已采纳
我对使用apache airflow非常陌生。我使用pycharm作为我的IDE。我创建了一个项目(anaconda环境)，创建了一个包含DAG定义和Bash操作符的python脚本。当我打开airflow When服务器时，我的DAGS不显示。仅显示默认示例DAG。我的AIRFLOW_HOME变量包含~/airflow。所以我在那里存储了我的python脚本，现在它显示出来了。我是否要在每个项目开始时更改环境变量？
有没有办法为每个项目添加特定的ai
浏览 2提问于2019-07-04得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
