首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

为什么Storm没有在工作中的群集上重放失败的消息,而是在本地桌面的群集模式上重放

Storm是一个分布式实时计算系统,它主要用于处理大规模的实时数据流。在工作中的群集上重放失败的消息是不可行的,而是在本地桌面的群集模式上重放,有以下几个原因:

  1. 群集模式和本地桌面模式的区别:在工作中的群集模式中,Storm集群通常由多个节点组成,每个节点负责处理一部分数据流。而在本地桌面模式中,Storm运行在单个节点上,主要用于开发和测试目的。由于群集模式涉及到多个节点的协同工作,重放失败的消息会涉及到多个节点之间的通信和数据同步,这会增加复杂性和开销。
  2. 实时性要求:Storm主要用于实时数据处理,对于失败的消息,重放可能会导致延迟增加,影响实时性能。在工作中的群集模式中,重放失败的消息可能会导致整个数据流的延迟,从而影响实时计算的准确性和效率。
  3. 数据一致性:在工作中的群集模式中,由于数据流可能分布在多个节点上进行处理,重放失败的消息可能会导致数据一致性的问题。不同节点上的数据可能会出现不一致的情况,从而影响计算结果的准确性。
  4. 资源消耗:在工作中的群集模式中,重放失败的消息会增加系统的资源消耗。由于群集模式涉及到多个节点的协同工作,重放失败的消息可能会导致额外的网络通信、数据同步和计算开销,从而增加系统的负载和资源消耗。

综上所述,为了保证实时性、数据一致性和资源消耗的考虑,Storm没有在工作中的群集上重放失败的消息,而是在本地桌面的群集模式上重放。这样可以更好地满足实时数据处理的需求,并减少对整个系统的影响。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Storm消息处理可靠性保证

当tuple消息树已经遍历完,并且每一个消息都被处理,则storm认为tuple从spout发出后被完全处理。当tuple消息树上消息一个指定超时时间内没有被完全处理则认为tuple处理失败。...这里意思是这条消息没有真正从队列中脱离,而是被放置到了一个“挂起”状态等待消息完成确认。在此期间,该消息不会被其他客户端消费。...一个多锚定tuple处理失败后会引起spout中多个tuple被重放。...tuple显式失败好处是,spout可以更快速进行数据重放,而不用等待tuple超时。     storm中你处理每个tuple都必须执行ack 或 fail操作。...由于它们没有锚定到任何spout tuple,所以它们不会引起任何spout tuple执行失败即使它们不执行ack操作。

88770

HeartBeat 集群组件概述

*日志,监控,仲裁和fence标准 *当服务失败或者其中设定标准满足时,需要执行动作 image.png 消息传递和基础设施层(Messaging and Infrastructure...你可以集群中任何节点使用任何工具,本地CIB将重放请求更改到指定协调器。然后指定协调会复制CIB变化到所有群集节点,并启动转换过程。...策略引擎和过渡引擎帮助下,指定协调器获得一系列需要在集群中完成步骤,有可能在多个节点步骤。指定协调器通过消息层向其他集群资源管理器发送命令。...如果需要的话,其他群集资源管理使用它们本地资源管理器来执行资源修改并返回其结果给指定协调器。一旦指定协调TE推断出在集群中所有必须操作已成功完成,集群将回到空闲状态并等待进一步事件。...指定协调器会被集群一致成员服务(一个节点死亡)或本地资源管理通知(如遇失败监视器操作)。指定协调器需要确定将要变更到一个新群集状态行为。新群集状态将由一个新CIB表示。

97020

Galera Cluster for MySQL 详解(一)——基本原理

数据库状态机:数据库站点本地处理只读事务。更新事务首先在本地“影子拷贝(shallow copies)”执行,然后作为读集广播到其它数据库站点进行验证并提交。...DDL支持 总序隔离(Total Order Isolation,TOI),DDL执行期间,所有写入都将被阻止 DDL 并不会阻塞写,仅建议单主模式下使用(因为 DDL 并没有冲突检测) 二、Galera...Galera集群内部架构包含四个组件,如图3所示: 数据库管理系统(DBMS):单个节点运行数据库服务器。Galera群集可以使用MySQL、Mariadb或Percona xtradb。...传输层,Galera集群是一个对称无向图,所有节点都通过TCP相互连接。默认情况下,TCP用于消息复制和群集成员资格服务,但也可以使用udp多播LAN中进行复制。...所谓乐观执行是指,事务一个节点提交时,被认为与其它节点事务没有冲突,首先在本地执行,然后再发送到所有节点做冲突检测,无冲突时在所有节点提交,否则在所有节点回滚。

5.1K10

全面介绍Apache Kafka™

如果您单个数据库服务器由于某种原因而失败(正如机器那样),那就搞砸了。 分布式系统设计方式是以可配置方式适应故障。 5节点Kafka群集中,即使其中2个节点关闭,您也可以继续工作。...这允许它们按照自己意愿递增/递减它们所处偏移量,从而能够重放和重新处理事件。 值得注意是,消费者实际是消费者群体,其中包含一个或多个消费者流程。...但是,现实生活中,您所做大多数操作都是有状态(例如count()),因此需要您存储当前累积状态。 流处理器维护状态问题是流处理器可能会失败!你需要在哪里保持这种状态才能容错?...流处理器可以将其状态保持本地表(例如RocksDB)中,该表将从输入流(可能在某些任意转换之后)更新。当进程失败时,它可以通过重放流来恢复其数据。...它为什么看到这么多用途? 仅凭高性能,可用性和可扩展性并不足以使公司采用新技术。还有其他系统具有类似的特性,但没有一个被广泛使用。这是为什么

1.3K80

Linode Cloud中大数据:使用Apache Storm进行流数据处理

有关可以自定义哪些参数详细信息,请参阅官方Zookeeper配置参数文档。没有必要在此文件中输入群集节点列表。这是群集创建期间由脚本自动完成。...多个Storm群集可以共享相同Zookeeper映像。事实,保持图像数量较低是一个好主意,因为图像存储限制10GB。...请注意,使用此方法时,命令将root每个节点执行。 要在所有节点执行命令,请使用该run命令,指定群集名称和要运行命令。...Zookeeper群集操作 本节中,我们将介绍Zookeeper集群启动并运行后管理其他操作。 应从storm-linode集群管理器Linode目录执行本节中所有命令。...更新和升级软件,下载资源或更改新文件权限时,这非常有用。请注意,使用此方法时,命令将root每个节点执行。 要在所有节点执行命令,请使用该run命令,指定群集名称和要运行命令。

1.4K20

应用消息中间件设计可以解决哪些实际问题?

MQ不仅提供了多点广播功能,而且还拥有智能消息分发功能,将一条消息发送到同一系统多个用户时,MQ将消息一个复制版本和该系统上接收者名单发送到目标MQ系统。...目标MQ系统本地复制这些消息,并将它们发送到名单队列,从而尽可能减少网络传输量。...群集(Cluster) 为了简化点对点通讯模式系统配置,MQ提供Cluster(群集)解决方案。...群集类似于一个域(Domain),群集内部队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集(Cluster)通道与其它成员通讯,从而大大简化了系统配置。...传统模式缺点:假如库存系统无法访问,则订单减库存将失败,从而导致订单失败,订单系统与库存系统耦合 如何解决以上问题呢?引入应用消息队列后方案,如下图: ?

68920

Elastic search 6.0.0 正式发布 大量新特性

(adsbygoogle = window.adsbygoogle || []).push({}); 跨多个 Elasticsearch 群集搜索 和以前一样,Elasticsearch 6.0 能够读取...不同是,现在不必重新索引所有的旧 Indices ,你可以选择将其保留在 5.x 群集中,并使用跨群集搜索同时 6.x 和 5.x 群集上进行搜索。...群集检查助手 现有群集运行一系列检查,以帮助升级之前更正任何问题。 你还应该查阅弃用日志,以确保您没有使用 6.0 版中已删除功能。...以前,如果由于网络问题或节点重启而从集群断开连接节点,则节点每个分区都必须通过将分段文件与主分片进行比较并复制任何不同分段来重新同步。...这可能是一个漫长而昂贵过程,甚至使节点滚动重新启动非常缓慢。 使用序列 ID,每个分片将只能重放该分片中缺少操作,使恢复过程更加高效。

62710

Flink 使用Flink进行高吞吐,低延迟和Exactly-Once语义流处理

流式架构演变 流处理中保证高性能同时又要保证容错是比较困难批处理中,当作业失败时,可以容易地重新运行作业失败部分来重新计算丢失结果。这在批处理中是可行,因为文件可以从头到尾重放。...但是流处理中却不能这样处理。数据流是无穷无尽没有开始点和结束点。带有缓冲数据流可以进行重放一小段数据,但从最开始重放数据流是不切实际(流处理作业可能已经运行了数月)。...开源中第一个广泛使用大规模流处理框架可能是Apache StormStorm使用上游备份和记录确认机制来保证失败后重新处理消息。...失败情况下,重放部分数据库日志来恢复计算状态,以及重放丢失记录。...较低缓冲区超时时间通常意味着较低延迟,可能以吞吐量为代价。在上面的实验中,缓冲区超时时间设置为50毫秒,这解释了为什么99%记录延迟50毫秒以下。 下面说明了延迟如何影响Flink吞吐量。

5.4K31

Rabbitmq群集部署

一、部署Rabbitmq集群 Rabbitmq集群大概分为两种方式: 1、普通模式:默认集群模式消息尸体只存在一个节点; 2、镜像模式:把需要队列做成镜像,存在于多个节点。...集群节点模式: 1、内存节点:工作在内存; 2、磁盘节点:工作磁盘上; 例外:内存节点和磁盘节点共同存在,提高访问速度同时增加数据持久化。...~]# ps -ef | grep rabbitmq # 确定已经启动,可以看到重启后主机名已经变更为hosts解析中所配置 5、rabbitmq01配置群集 [...IP+15672端口都可以进行登录: 可以在下面的页面看到群集节点信息: ?...四、单台节点加入或退出群集配置 1、节点加入群集 由于我在上面部署群集时,hosts文件已经可以解析群集节点,所以这里就省略解析了 #节点192.168.171.143服务器安装rabbitmq

1K30

「大数据系列」Apache NIFI:大数据处理和分发系统

已经讨论并广泛阐述了出现问题和解决方案模式。企业集成模式[eip]中提供了一个全面且易于使用表单。 数据流一些高级别挑战包括: 系统失败 网络故障,磁盘故障,软件崩溃,人们犯错误。...NiFi架构 NiFi主机操作系统JVM内执行。...这些都是持久保证传递,并使用本地磁盘这样做。因此保守一点,假设典型服务器中适度磁盘或RAID卷读取/写入速率大约为每秒50 MB。...这就带来了NiFi与其获取数据系统之间负载平衡和故障转移有趣挑战。使用基于异步排队协议(如消息服务,Kafka等)可以提供帮助。...从NiFi框架角度来看,增加吞吐量方面,可以配置时增加Scheduling选项卡下处理器并发任务数。这允许更多进程同时执行,从而提供更高吞吐量。

2.8K30

早点散----------深入剖析LVS负载均衡群集原理

一、负载均衡群集原理 LVS基本生产环境中,都会同时运行在二台硬件相近服务器:LVS Router(主 LVS ),一个作为备份LVS(备份 LVS )。...HA工作方式包括双工和主从两种模式 双工,两个平级状态协同工作,随时顶替对方 带有主从模式,一台主,多台从,称为中心化群集 去中心化机制:没有真正主,如果有,也是象征意义,所有节点都干活(Redis...用多台主机不同地方来计算 并行计算 : 所有的运算一起执行 3、负载均衡群集工作模式分析 负载均衡群集是目前企业用得最多群集类型 群集负载调度技术有三种工作模式 地址转换 IP隧道...(3)DR模式 直接路由(Direct Routing) 简称DR模式,采用半开放式网络结构,与TUN模式结构类似,但各节点并不是分散各地,而是与调度器位于同一个物理网络 负载调度器与各节点服务器通过本地网络连接...如果选择-种方式死去,我希望是在工作中死去。

76650

「首席看容器云架构」设置高可用性Kubernetes Master

/cluster/kube-down.sh 处理主副本故障 如果高可用性群集一个主副本失败,则最佳实践是从群集中删除该副本,并在同一区域中添加一个新副本。...为了使区域失效,还要将节点放置多个区域中(有关详细信息,请参阅多个区域)。 不要将群集与两个主副本一起使用。更改永久状态时,两副本群集共识要求两个副本同时运行。...总览 每个主副本将在以下模式下运行以下组件: etcd实例:将使用共识将所有实例聚在一起; API服务器:每个服务器都将与本地etcd通信-群集所有API服务器将可用; 控制器,调度程序和集群自动缩放器...主服务和kubelets 系统没有尝试Kubernetes服务中保留Kubernetes apiserver最新列表,而是将所有流量定向到外部IP: 一个主群集中,IP指向单个主群集多主机集群中...Master证书 Kubernetes为每个副本外部公共IP和本地IP生成主TLS证书。没有用于副本临时公共IP证书;要通过其短暂公共IP访问副本,必须跳过TLS验证。

76610

爬虫:有什么让人眼前一亮调试习惯与技巧

Cookie系统,隐私模式下 Cookies 仍然会正常工作,甚至隐私模式下获取 Cookies 一样是公开可读。...这类产品有:360安全浏览器,Google 浏览器,火狐浏览器,遨游浏览器等 为什么建议使用无痕模式进行调试 当我们使用浏览器访问时候,难免会由于cookies未及时手动清理,JS缓存等各种情况存在造成调试误差...再比如,假设网上存款系统中,一条消息表示用户支取了一笔存款,攻击者完全可以多次发送这条消息而偷窃存款 重放攻击类型 1.根据重放消息接收方与消息原定接收方关系,重放攻击可分为3种: 第一种是直接重放...攻击者存储在前面的回合中所传送消息,并抓住机会重放它们,对协议的当前回合进行攻击。Denning和Sacco对NSSK协议攻击,就是经典重放一个著名例子。...相当于系统没有调用该函数之前,钩子程序就先捕获该消息,可以先得到控制权,这时钩子函数便可以加工处理(改变)该函数执行行为。执行函数后释放控制权限,继续运行原有逻辑。 示意图如下, ?

1.1K20

Flink1.4 检查点启用与配置

前提条件 Flink 检查点机制与流和状态持久存储进行交互。一般来说,它要求: 一个可持久化(或保存很长时间)数据源,可以重放特定时间段记录。...检查点其他参数包括: (1) exactly-once 与 at-least-once:你可以选择性模式传递给 enableCheckpointing(n) 方法来两个保证级别之间进行选择。...(3) state.backend.rocksdb.checkpointdir: 用于存储 RocksDB 文件本地目录,或由系统目录分隔符(例如Linux/Unix’:’(冒号))分隔目录列表...有关可用状态终端以及作业范围和群集范围内配置选项详细信息,请参阅状态终端。 5. 迭代作业中状态检查点 目前 Flink 只为无迭代作业提供处理保证。迭代作业启用检查点会导致异常。...重启策略 Flink支持不同重启策略,控制失败情况下重启方式。有关更多信息,请参阅重启策略。

1.8K30

初识kafka

本篇将会简单介绍kafka以及它为什么能够广泛应用。     kafka增长是爆炸性。2017年超过三分之一世界五百强公司使用kafka。...kafka是也为基于内存微服务提供数据持久化并把数据传输给复杂事件流系统和IOT模式自动化系统。 为什么选择Kafka? Kafka经常用于实时流数据架构,提供实时分析。...由于Kafka是一种快速、可伸缩、持久和容错发布-订阅消息传递系统,所以考虑到JMS、RabbitMQ和AMQP可能存在容量和响应性不足,Kafka某些情况下是更优选择。...Kafka还通过Confluent模式注册表支持Avro模式。Avro和Schema Registry允许用多种编程语言生成和读取复杂记录,并允许记录演变。...Kafka生产者可以等待确认,所以消息是持久,因为生产者写如完整直到消息复制完成。硬盘架构可很好地伸缩因为现代磁盘驱动器批量写入时具有很高吞吐量。

94030

技术干货| 腾讯云TDSQL多源同步架构与特性详解

这里producter向Kafka生产消息时,采用at-least-once模式,即保证特定消息队列中至少有一份,不排除队列中有消息重复情况。...3、consumer 日志消费和重放模块,负责从Kafka中将CDC消息消费出来并根据配置重放到目标实例。...这里因为producter端采用at-least-once模式生产,因此消费者这里实现了幂等逻辑保证数据重放正确。...目前,基于行级并发单任务同步速率可以达到4WQPS,已经可以满足绝大多数场景对同步速率要求。 这里每个线程重放时候,都会将消息按照一定数量封装成事务来进行重放。...这种模式并发复制,实际实现是最终一致性,因为原有的事务结构已经被打破。当然因为并发复制速度够快,业务如果能够接受秒级同步时延,基本业务是感知不到不一致数据。

5.3K73

Kafka异地双活深度讲解 - Mirrormaker V2

这样Topic命名过程会导致Active – Active双活时造成无限消息循环。...(点击查看大图) 主备Consumer Offset 管理 MM V1中,Source集群Topic Partition Offset和目标群集Topic Partition Offset 几乎不可能相同...减少MirrorMaker集群数量 传统,MM V1 群集与目标群集共用。因此,使用Remote Consume和Local Produce模式之后,每个目标集群都会有一个镜像集群。 ?...MM V2 则是从Source直接传递给Sink 从而避免了这种不必要数据复制。 同时,Active – Active场景下,没有必要为每个Kafka集群建一个Primary群集。...因此跨群集复制无法直接利用这个特性。也就是说,当前MM2源和目标集群之间复制数据时只能提供至少一次语义,下游可能存在重复记录。 来看一下跨集群复制在哪个环节会出现数据重复。

8.7K41

PostgreSQL复制和备份3种方法

当我们与Citus用户交谈时,我们经常会听到有关设置Postgres高可用性(HA)群集和管理备份问题。你如何处理复制和机器故障?设置Postgres HA时遇到了哪些挑战?...Postgres上下文中,内置复制(称为“流复制”)带来了一些挑战: Postgres复制没有内置监视和故障转移。当主节点发生故障时,您需要将辅助节点提升为新主节点。...第一种方法中,当您构建新辅助节点时,新辅助节点需要从主节点重播整个状态 - 从时间开始。然后,重放操作可能在主节点引入显着负载。如果数据库主节点提供实时流量,则此负载变得更加重要。...主要好处 简单流式复制 (本地磁盘) 本地 手册EC2 更易于设置 高I / O性能和大容量存储 复制块设备 RDS Azure Postgres 适用于MySQL,PostgreSQL 数据云环境中持久性...因此,重建新副本不会在主节点引入任何额外负载。这使得高可用性(HA)解决方案成为可以轻松启动或击落数据库节点解决方案 - 这一特性云原生环境中非常有用。

9.7K30

kafka 工作原理介绍

MQ 不仅提供了多点广播功能,而且还拥有智能消息分发功能,将一条消息发送到同一系统多个用户时,MQ 将消息一个复制版本和该系统上接收者名单发送到目标 MQ 系统。...目标 MQ 系统本地复制这些消息,并将它们发送到名单队列,从而尽可能减少网络传输量。...发布/订阅 (Publish/Subscribe) 模式:发布/订阅功能使消息分发可以突破目的队列地理指向限制,使消息按照特定主题甚至内容进行分发,用户或应用程序可以根据主题或内容接收到所需要消息...群集 (Cluster):为了简化点对点通讯模式系统配置,MQ 提供 Cluster(群集) 解决方案。...群集类似于一个域 (Domain),群集内部队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集 (Cluster) 通道与其它成员通讯,从而大大简化了系统配置。

1.1K10

教程|运输IoT中Kafka

追随者代理:遵循领导者指示节点。如果领导者失败,它将代替领导者。还像接收方一样拉入消息并更新其数据存储。 Kafka群集:如果存在多个代理,则Kafka被视为Kafka群集。...拥有多个代理主要原因是要管理消息数据持久性和复制,并在没有繁华情况下进行扩展。 消费者组:来自相同组ID消费者。 消费者:通过提取数据从经纪人读取数据。他们订阅1个或更多主题。 ?...启动消费者以接收消息 我们演示中,我们利用称为Apache Storm流处理框架来消耗来自Kafka消息。...提交Storm拓扑,来自Kafka主题消息将被拉入Storm。 总结 恭喜你!...我们演示中,我们向您展示了NiFi将KafkaProducer API包装到其框架中,Storm对KafkaConsumer API进行了同样处理。

1.5K40
领券