1回答
我有4个任务:图像预处理(A)，边界框查找(B)，分类(C)，图像最终确定(D)。图表如下所示： A -> B1 -> C \ -> B3 -> C /
-> Bn -> C / 图像预处理任务的输出是边界框建议的列表，对于每个边界框，我运行分类，一旦所有分类任务结束，我就运行图像finalize。我希望所有的东西都是并行运行的 这将每天运行10000个图像，因此如果我
浏览 16提问于2019-05-06得票数 0
我有大约一百万的气流任务，使用相同的python功能。每个运行都需要有不同的开始日期和参数。问题
如何在气流上以可伸缩的方式运行一百万(或任何数量)或任务，其中每个任务来自同一个python函数，但有不同<em
浏览 0提问于2019-03-25得票数 1
回答已采纳
1回答
我有一个ETL管道，它由以下任务组成：
我把整个剧本转换成气流数据集。我的问题是假设，一个百万文件的规模，我想特别是在步骤-3使用我的整个集群芹菜工人处理文件并行。
浏览 2提问于2019-04-24得票数 4
回答已采纳
1回答
继续部署到私有子网中的自动伸缩组
、、、、
我在公共子网中有一个elb，使用一个自动伸缩组，该组由3个私有子网组成，每个私有子网在一个公共子网中运行2个ec2实例和一个NAT实例。现在我的问题是，我如何仍然可以将我最新的github提交自动部署到我的每个ec2实例？
任何建议都将非常受欢迎。
浏览 3提问于2016-07-16得票数 0
1回答
AWS ECS预留任务
、、、
我在ECS上有一个EC2类型的集群。我的任务(容器)需要在启动时加载一个非常大的文件，这意味着它在启动后20-30秒内无法为请求提供服务。我仍然希望拥有最佳的可伸缩性和性能。我已经配置了基于CapacityProviderReservation的EC2实例的弹性伸缩，我的运行任务的服务已经配置了基于AverageCPUUtilization的<e
浏览 29提问于2020-08-16得票数 0
回答已采纳
我试图将一个由临时控制和监控的工作流转移到气流2，工作流由多个步骤组成，这是一个典型的用例，只有一个例外--一个步骤是一个非常长时间运行的工作。在一些罕见的情况下，这项工作可能需要从几分钟到一天(甚至两天)。这个任务实际上是由另一个系统执行的(我无法控制)，这里的气流只负责远程启动和轮询状态。没有办法把任务分成小的。但是，当任务运行时，我能够监视任务的</
浏览 5提问于2021-11-24得票数 2
回答已采纳
我应该如何配置或发送任务日志从气流1.9到弹性搜索？我在当前的git存储库中找到了配置模板，但不确定是否可以在v1.9中完成。
浏览 1提问于2018-05-15得票数 9
在创建ECS服务时，我们可以选择守护程序(每个实例一个任务)或副本(指定任务数量) 为了扩展web前端(nginx，uwsgi For python web stack)，我最初考虑使用守护进程，因为这是在没有ecs的情况下扩展ec2的方式。但后来，我读到人们更倾向于扩展任务(我认为这意味着复制)，我感到困惑。 奇怪的是，你必须缩放任务和容器(ec2)。单独伸缩任务/容器有什么好处？
浏览 31提问于2019-09-23得票数 2
我想把我的python转换成气流。我有一个用python编写的ETL，可以将数据从弹性复制到MSSQL。我已经构建了一个包含3个任务的DAG。任务1-从MSSQL中的表中获取最新日期
任务2-基于从前一个任务检索的日期生成一个弹性查询，再加上从MSSQL中的不同表(不相关)中提取的一些过滤器(
浏览 4提问于2021-07-11得票数 1
1回答
当使用logstash从您可以访问的文件夹中检索气流日志时，我还需要对airflow.cfg文件进行任何更改吗？
例如，我在同一个ec2实例上部署了气流和ELK。logstash .conf文件可以访问气流日志路径，因为它们位于同一个实例上。我需要在气流配置中打开remote logging吗？
浏览 10提问于2022-09-01得票数 0
回答已采纳
2回答
反应性和弹性有什么区别？
、、、、
我在寻找反应性和弹性之间的区别。我所理解的弹性的意思是，如果同一服务的实例数量随着请求数量的增加而增加。因此，即使实例数量增加或减少，达到稳定状态的速度和速度都被称为弹性。
对于反应性，我不太清楚。
浏览 3提问于2017-12-27得票数 2
回答已采纳
4回答
我创建了一个关于平均CPU使用率的警报...假设有4个实例是空闲的，其中一个正在进行一些繁重的处理...CPU平均负载将触发警报，因此将执行缩容策略。如何让Auto Scaling终止其中一个空闲实例，而不是正在处理中的实例？
浏览 0提问于2013-07-08得票数 17
回答已采纳
1回答
在这个主DAG中，总共有120个任务具有这样的依赖关系，有时可能有大约25个同时运行的任务。
气流倾诉覆盖：每次这个Dag运行时，我都希望看到工作人员的扩展，但是从监视部分我只看到一个活动的工作人员，CPU和内存接近极限。理想情况下，我希望在这个dag运行时将其放大，并在一天的其余时间缩小它。但是当我用不那么有力的吐露时，任务甚至没有开始。我试着玩不同的</
浏览 2提问于2022-07-26得票数 1
3回答
编制引擎和框架？
、、、
我正在寻找一个编排框架/引擎/工具包来替换/升级现有的软件，主要是因为可伸缩性的限制。我所说的编排是指通用任务和工作流的异步和分布式执行。更具体地说，这些要求基本上如下：
对分布式体系结构和可伸缩性的支持(主要用于大量小任务监视和管理U
浏览 0提问于2018-04-23得票数 14
2回答
如何连接s3斗w/气流
、、、
我有一个气流任务，在那里我尝试加载一个文件到一个s3桶。我在一个Ec2实例上运行了气流。我正在运行AF 2.4.3版本我启动我的AF服务器，登录并转到Admin部分添加一个连接。我打开了一个新的连接，我没有选择s3。我还少了什么？
浏览 8提问于2022-11-30得票数 0
我有一个Apache气流管理环境，其中定义并启用了许多DAG。一些DAG是按15分钟的计划运行的，而另一些则没有计划。所有的DAG都是单任务DAG。0级DAG使用ECSOperator调用预定义的弹性容器服务( ECS )任务，调用定义在ECS任务中的Docker容器中的Python脚本。从运行ECS任务的CloudWatch日志中</e
浏览 6提问于2021-10-12得票数 0
回答已采纳
如果您有一个实例，并且弹性伸缩需要再创建一个实例，那么您有两个实例。但是当弹性伸缩因为不需要而想要移除一个时，可以移除新的或旧的。谢谢
浏览 0提问于2011-03-18得票数 2
1回答
有没有办法确保AWS ECS容器实例不会在运行关键任务的过程中关闭？问题是，有时，在缩容期间，正在运行关键作业的实例被关闭，这最终导致作业失败。
浏览 2提问于2020-12-24得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
