腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
airflow
中
,
是否
可以
在
多个
工作
节点
上
运行
单个
任务
,
即
以
分布式
方式
运行
任务
kubernetes
、
celery
、
airflow
我正在使用spring batch创建批处理作业的
工作
流。
单个
批处理作业需要2小时才能完成(要处理的数据约为100万),因此决定
以
分布式
方式
运行
,其中一个
任务
将分布
在
多个
工作
节点
上
,这样它就
可以
在
较短的时间内执行。
工作
流
中
的其他作业(都是
分布式
的)需要一个接一个地按顺序
运行
。
浏览 88
提问于2021-11-23
得票数 0
回答已采纳
2
回答
如何设置2台服务器的气流?
airflow
、
apache-airflow
尝试将
Airflow
进程拆分到2台服务器
上
。服务器A已经
在
独立模式下
运行
,其中包含DAG,我想将其设置为具有附加服务器的新设置
中
的worker。我
可以
让服务器A
运行
LocalExecutor吗,还是必须使用CeleryExecutor?
airflow
scheduler
是否
必须在具有正确DAG的服务器
上
运行
?或者它必须在集群
中
的每台服务器
上
运行
?
浏览 0
提问于2017-07-12
得票数 6
1
回答
Spark并行
运行
多个
操作
multithreading
、
apache-spark
每个子集和它的操作之间没有依赖和交互,所以我尝试使用多线程来让它们并行
运行
,
以
提高性能。.toArray(CompletableFuture[]::new);executor.shutdown();
在
Spark作业管理UI
中
,我注意到这50个
任务
是并行提交的,但处理仍然处于阻塞状态,一个
任务
开始
运行
,直到另一个
任务
完成。如何让
多个
任务</em
浏览 16
提问于2019-06-16
得票数 0
回答已采纳
2
回答
Hadoop
中
的单
节点
模式和伪
分布式
模式有什么区别?
hadoop
、
configuration
、
mode
这两种模式
是否
使用不同的端口号?或者其他的不同?
浏览 0
提问于2014-05-03
得票数 13
回答已采纳
1
回答
在
气流主
节点
上
运行
特定
任务
airflow
、
apache-airflow
我有一个带有
任务
列表的进程,这些
任务
是
在
不同的
工作
节点
上
使用芹菜执行器
运行
的。但是,我想在主
节点
上
运行
其中一个
任务
。这有可能吗?
浏览 5
提问于2017-07-24
得票数 4
回答已采纳
2
回答
扩容Kafka Connect
是否
等同于扩容Kafka Consumer?
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
通常,当我们
运行
Kafka Consumer时,我们
可以
使用相同的使用者组
运行
多个
JVM,
以
实现可伸缩性。特定消费者的消费者JVM
可以
运行
在同一台物理服务器
上
,也
可以
运行
在不同的物理服务器
上
。如何
运行
20个实例的Kafka Connect?
是否
可以
在
同一物理实例
上
运行
多个
K
浏览 2
提问于2018-03-08
得票数 1
2
回答
在
Cloud Composer
中
,一个
airflow
任务
可以
在
多个
工作
进程
上
运行
吗?
google-cloud-platform
、
google-cloud-composer
、
airflow
我
在
airflow
dag中有一个
任务
,它需要100 GB的RAM才能成功完成。我
在
Composer环境中有3个
节点
,每个
节点
都有50 GB的内存。我有3个
工作
进程(每个
节点
上
运行
一个)。这里的问题是,这个
任务
只
在
一个
工作
进程
上
运行
(它
可以
使用的最大内存是50 GB),因此它失败了,因为内存问题。 有没有办法让
浏览 0
提问于2020-09-12
得票数 0
1
回答
在
具有
多个
任务
的集群
中
处理数据
design
、
c++
、
distributed-system
、
cluster
实际
上
,我们
可以
在
一台机器
上
运行
多个
客户机,让每个客户端管理自己的
任务
。
在
使用
多个
节点
的大型部署
中
,这种设计方法非常强调网络,因为
单个
数据对象至少需要访问每个
节点
一次。
单个
节点
上
的整个
任务
链总是需要相同的计算能力和时间,而设计1)
可以
在
另一个
节点</
浏览 0
提问于2018-12-08
得票数 1
1
回答
如何连接到
中
的
多个
主机?
marklogic
、
java
我想在
运行
在3
节点
上
的Marklogic集群
上
以
分布式
模式
运行
作为转换模块。通常,
在
mlcp
中
,我们将使用-host参数来指定主机名,并使用-mode参数来定义模式类型。
在
DMSDK
中
,
是否
可以
像下面这样提及ML集群
中
节点
的所有主机名 DatabaseClient client = DatabaseClientFactory.n
浏览 0
提问于2018-01-29
得票数 0
回答已采纳
1
回答
气流配置-芹菜执行器/ Kubernetes Exexutor
airflow
我
在
多
节点
环境中使用Hadoop和Spark。我已经安装了
Airflow
来自动执行
多个
spark
任务
。为了
在
多个
节点
上
运行
这个DAG,
在
Airflow
中
是Celery executor还是Kubernetes executor是最好的选择?
浏览 3
提问于2019-07-09
得票数 0
1
回答
HDInsigh Spark如何使用以下代码
apache-spark
、
pyspark
、
azure-hdinsight
我想知道下面的代码是如何
工作
的?我的意思是如何在集群
节点
之间调度作业。假设我有2个头
节点
和4个
工作
节点
,哪些代码将在头
节点
上
运行
,哪些代码将在
工作
节点
上
运行
?我如何让Spark知道我想要在
工作
节点
上
执行一些代码?
浏览 30
提问于2019-09-24
得票数 0
1
回答
这种策略是并行计算还是
分布式
计算?MPI
parallel-processing
、
mpi
、
distributed-computing
、
distributed-system
在
我的实现
中
,我使用MPI进行并行化。主while循环
运行
500次。这意味着,
在
main循环中调用9次func(),我并行化了三个
节点
中每个
节点
调用3个func()调用并将结果返回给主
节点
的
方式
。 这在while循环中继续了500次。(这意味着,
在
每个下一个循环中,同样有9个func()调用被并行化) 这种策略称为并行计算还是
浏览 2
提问于2022-03-07
得票数 0
回答已采纳
2
回答
Hadoop
中
的
分布式
缓存概念
hadoop
、
caching
、
mapreduce
、
distributed-computing
我的问题是专门针对Hadoop的
分布式
缓存的概念,以及它
是否
应该被称为
分布式
缓存。
分布式
缓存的一个传统定义是“--
分布式
缓存跨越
多个
服务器,以便它
可以
在
大小和事务容量方面增加”。
在
hadoop
中
不是这样,因为
分布式
缓存被分发到所有
运行
任务
的
节点
,
即
驱动程序代码中提到的相同文件。 这不应该被称为复制缓存。如果按照传统的
分布
浏览 4
提问于2015-12-08
得票数 1
回答已采纳
1
回答
Spring Cloud DataFlow -
任务
运行
后获取执行ID
spring
、
spring-batch
、
spring-cloud
、
airflow
、
spring-cloud-dataflow
目前,我正在从Spring XD作为我的
工作
流和
运行
时环境迁移到Spring Cloud DataFlow和Apache
Airflow
。我想在
Airflow
中
创建
工作
流,并使用自定义
Airflow
operator通过REST-API
在
Spring Cloud DataFlow服务器
上
运行
Spring Cloud
任务
。
可以
使用: curl -X GET http:/
浏览 8
提问于2017-01-27
得票数 1
1
回答
在
EMR
中
,
在
集群模式下
运行
星火作业时,
任务
也
可以
在
主
节点
中执行吗?
apache-spark
、
cluster-computing
、
amazon-emr
想象一下电子病历
中
的两种场景: 因为据我所知,主
节点
本身不执行任何
任务
,是这样吗?
是否
<e
浏览 0
提问于2018-10-19
得票数 7
1
回答
代码
任务
计划建议
c#
、
scheduled-tasks
我试图确定
是否
存在某种允许您
以
分布式
方式
运行
代码的东西。每个代码
任务
都有一个Id,并允许智能调度。 如果
多个
任务
触发要
运行
的相同
任务
(由id确定),则只触发一个
任务
,而不
浏览 2
提问于2012-03-20
得票数 1
回答已采纳
2
回答
在
多个
节点
上
运行
kafka connect
分布式
模式
apache-kafka
、
apache-kafka-connect
我正在对一个kafka连接器进行弹性测试,我想在它
运行
的时候杀死一个worker,从而杀死这个连接器实例。最简单的方法可能是强制
分布式
模式
在
多个
节点
上
运行
,然后杀死该
节点
上
的
工作
进程(对吗?)。我如何才能让Kafka连接到除了启动
节点
之外的其他
节点
上
的产卵
工作
进程?这是
在
worker配置
中
定义的吗?
浏览 2
提问于2017-11-08
得票数 2
1
回答
Apache气流1.10.10,远程
工作
人员和S3日志
airflow
当前的设置是web,
工作
人员,调度程序和花在同一台机器
上
。当一个DAG
运行
时,第一步是它为DAG提取新的EMR,并与它一起作为一个只
运行
工作
进程的
工作
节点
。我们用的是芹菜刽子手。此
工作
节点
发送要在EMR群集
上
运行
的
任务
。一旦
任务
运行
,接下来的步骤将终止EMR并终止此员工实例。每个
任务
的日志都在此
工作
节点
浏览 0
提问于2020-07-08
得票数 0
1
回答
试图理解使用码头(调度器、队列、工人)与码头(气流)之间的区别
docker
、
docker-compose
、
airflow
我目前的理解是:Scheduler,它管理作业队列的调度,该队列管理
多个
作业
工作
者的队列,后者管理每个队列的
工作
。我从这个来源读到:Worker(
Airflow
:,因为
在
气流
中
,我们
可以
设置调度程序,也
可以
设置队列)我首先从这两个来源和其他来源了解到,但我对以下情况感到困惑: ,因为我
可以
使用
浏览 1
提问于2020-08-31
得票数 0
回答已采纳
1
回答
HDFS和MapReduce如何处理小文件
hadoop
、
mapreduce
、
hdfs
我已经
在
Windows平台上安装了Hadoop和另外两个
工作
节点
(总共有3个
节点
)。为了演示的目的,我正在处理一个约1兆字节的文件。 如果我处理100个这样的文件。
工作
节点
是否
会在其中划分要
浏览 3
提问于2013-08-04
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
大数据开发平台在有赞的最佳实践
没看过这篇文章,别说你会用Airflow
基于DAG的分布式任务调度平台-Maat
任务流管理工具-Airflow配置和使用
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券