1）重启策略，都有重试次数和重试之间等待时间的规定，不同点在于，分别限定了最大的失败次数和规定时间内失败次数。具体根据场景设置
kafka 提供了 “at least once” 的语义，即消息会发送一次或者是多次。但是人们真正想要的是 “exactly once” 的语义，即重复的消息不会再被发送
我们已经讨论了串起 MapReduce 工作流的一些算法，但我们忽略了一个重要的问题：当工作流结束后，处理结果是什么？我们一开始是为什么要跑这些任务来着？
在第三章中，我们学习到了 Kafka C# 客户端的一些使用方法，学习了如何编写生产者程序。
传统单体架构下的分布式事务概念并不适合微服务，面临的挑战很多(挑战问题点击标题见原文)，想在微服务中进行分布式事务处理？需要改变思路和视角：
如今微服务架构讨论的如火如荼。但在企业架构里除了大量的OLTP交易外，还存在海量的批处理交易。在诸如银行的金融机构中，每天有3-4万笔的批处理作业需要处理。针对OLTP，业界有大量的开源框架、优秀的架构设计给予支撑；但批处理领域的框架确凤毛麟角。是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了，今天我将以Spring Batch为例，和大家一起探秘批处理的世界。 初识批处理典型场景 探秘领域模型及关键架构 实现作业健壮性与扩展性 批处理框架的不足与增强 批处理典型业务场景 对账是典型的批处理业务
批处理是企业级业务系统不可或缺的一部分，spring batch是一个轻量级的综合性批处理框架,可用于开发企业信息系统中那些至关重要的数据批量处理业务.SpringBatch基于POJO和Spring框架,相当容易上手使用,让开发者很容易地访问和利用企业级服务.spring batch具有高可扩展性的框架,简单的批处理,复杂的大数据批处理作业都可以通过SpringBatch框架来实现。
OpenTelemetry 提供了 API，SDK 和一系列工具对监控领域 Metrics，Log，Trace 三驾马车进行标准化，非常值得我们学习。
凌晨四点被公司的监控告警叫醒了，告警的原因是生产环境跑批任务发生故障。即刻起床处理故障，但还是花了不少时间才解决。
Presto 在 Facebook 的诞生最开始是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Presto 的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。但是随着近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要批处理；但是 Presto 作为一个 MPP 计算引擎，将一个 MPP 体系结构的数据库来处理海量数据集的批处理是一个非常困难的问题，所以一种比较常见的做法是前端写一个适配器，对 SQL 进行预先处理，如果是一个即时查询就走 Presto，否则走 Spark。这么处理可以在一定程度解决我们的问题，但是两个计算引擎以及加上前面的一些 SQL 预处理大大加大我们系统的复杂度。
回顾公司过去一年，发生了好几次P级事务，最严重的一次对外停止服务整整一下午，超过六小时。
向消费者通知新事件的常用方式 消息传递系统（messaging system）：Pro发送包含事件的消息，然后将消息推给Con。
失败是不可避免的。然而，正确的软件设计和开发选择可以帮助最大限度地减少其影响、隔离问题并加快恢复时间。
批处理系统通常也叫脱机系统，需要大量的输入数据，运行一个作业来处理它，并产生一些输出数据。工作通常需要一段较长的时间（从几分钟到几天）。批处理作业通常是周期性地运行的（例如，一天一次）。批处理作业的主要性能度量通常是吞吐量。
Kubernetes是一款流行的容器编排平台，允许开发人员在容器中打包应用程序和服务，并且可以自动扩展和管理这些容器。Kubernetes提供了各种对象来帮助开发人员和管理员管理这些容器，其中包括Job。
我们生活在一个由软件系统驱动的世界。它们已融入我们的日常生活，其持续、可靠的性能不再是奢侈品，而是必需品。企业现在比以往任何时候都更需要确保其系统保持可用性、可靠性和弹性。这种必要性是由满足客户和超越竞争对手的愿望推动的。实现这一目标的秘诀是什么？构建容错软件系统。
分布式系统中经常会出现某个基础服务不可用造成整个系统不可用的情况, 这种现象被称为服务雪崩效应. 为了应对服务雪崩, 一种常见的做法是手动服务降级. 而Hystrix的出现,给我们提供了另一种选择.
在大型企业中，由于业务复杂、数据量大、数据格式不同、数据交互格式繁杂，并非所有的操作都能通过交互界面进行处理。而有一些操作需要定期读取大批量的数据，然后进行一系列的后续处理。这样的过程就是“批处理”。
Job 负责批处理任务，即仅执行一次的任务，它保证批处理任务的一个或多个 Pod 成功结束。
如今，Redis 已经成为互联网行业最流行的缓存解决方案之一。尽管（关系型）数据库系统 (SQL) 带来了许多出色的属性，例如 ACID，但为了保持这些属性，数据库的性能在“ 3 高” 条件环境下下往往显得捉襟见肘、苍白无力。
MQ Push一条消息给消费者后，等待消费者的ACK响应，需要将消息标记为已消费。如果没有标记为消费，MQ会不断的尝试往消费者推送这条消息。
作者：Kevin Hannon (G-Research), Michał Woźniak (Google)
在当今数字化时代，处理大数据和批量任务变得越来越常见。本文将深入研究Spring Batch的原理、用法和最佳实践，帮助你高效地处理大规模数据处理任务。
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 📷 1. 引言 默认情况下，Spring批处理作业在执行过程中出现任何错误都会失败。然而有些时候，为了提高应用程序的
在企业领域,有很多应用和系统需要在生产环境中使用批处理来执行大量的业务操作.批处理业务需要自动地对海量数据信息进行各种复杂的业务逻辑处理,同时具备极高的效率,不需要人工干预.执行这种操作通常根据时间事件(如月末统计,通知或信件),或者定期处理那些业务规则超级复杂,数据量非常庞大的业务,(如保险赔款确定,利率调整),也可能是从内部/外部系统抓取到的各种数据,通常需要格式化、数据校验、并通过事务的方式处理到自己的数据库中.企业中每天通过批处理执行的事务多达数十亿.
K8s中的批处理任务模块主要是由Job控制器完成，今天我们就来关注下其底层的关键设计,包括完成状态、并行模式、并行策略等关键机制。
Spring Batch 作为 Spring 的子项目，是一款基于 Spring 的企业批处理框架。通过它可以构建出健壮的企业批处理应用。Spring Batch 不仅提供了统一的读写接口、丰富的任务处理方式、灵活的事务管理及并发处理，同时还支持日志、监控、任务重启与跳过等特性，大大简化了批处理应用开发，将开发人员从复杂的任务配置管理过程中解放出来，使他们可以更多地去关注核心的业务处理过程。
Kafka 是一个基于发布-订阅模式的消息系统，它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率，即每秒可以处理百万级别的消息。那么 Kafka 是如何实现这样高得性能呢？本文将从七个方面来分析 Kafka 的速度优势。
注: 此系列内容来自网络，未能查到原作者。感觉不错，在此分享。不排除有错误，可留言指正。
消息发送成功返回确认消息，那就能确保消息不丢失。如果发送失败了，mq-client就尝试自动重试，避免网络抖动导致发送丢失。
作者： Kevin Hannon (G-Research), Michał Woźniak (Google)
上篇教程发布后，有同学反馈消息队列的优先级怎么实现，Laravel 本身对此提供了支持，除此之外，Laravel 的队列组件还支持批处理、延迟推送、失败任务处理、消息队列中间件、频率限制等很多特性，一篇教程根本介绍不完，毕竟消息队列也是个很复杂的系统，但是放到这里来讲似乎又偏离了 Redis 这个主题，所以这里学院君先给大家简单介绍下消息队列优先级和失败任务处理的实现，至于更多功能特性，后面单独开一个消息队列专题进行系统介绍。
在第十章的时候，我们讨论了批处理——它总是读取一些文件作为输入，产生一些新文件作为输出。这里的输出就是一种“衍生数据”：即，如果有需要，我们可以通过再跑一遍批处理任务获取相同的结果集。从之前章节的讨论我们可以看出，这种思想简单却强大：像搜索引擎、推荐系统、分析系统等很多现代常见的数据系统都是基于这种思想构建的。
本篇参考：https://resources.docs.salesforce.com/sfdc/pdf/integration_patterns_and_practices.pdf
我们现在来看看的replication数据复制的问题，也就是在多个节点上维护相同数据的拷贝，每个节点被称为replica 副本。数据复制是许多分布式数据库、文件系统或其他存储系统的标准特性之一。它是我们实现容错的主要机制之一：如果一个副本出现故障，我们可以继续访问其他副本上的数据备份。
为了帮助设计和实现批量处理系统，基本的批量应用是通过块和模式来构建的，同时也应该能够为程序开发人员和设计人员提供结构的样例和基础的批量处理程序。
RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的；Master 角色的Broker支持读和写，Slave角色的 Broker仅支持读，也就是Producer只能和Master角色的Broker 连接写入消息;Consumer可以连接Master角色的Broker，也可以连接Slave角色的Broker来读取消息；
producer向broker发送消息后，没有收到broker的ack时，rocketmq会自动重试。重试的次数可以设置，默认为2次
Spring Batch 是什么？ 官网中介绍 Spring Batch is a lightweight, comprehensive batch framework designed to enable the development of robust batch applications vital for the daily operations of enterprise systems.（一款轻量的、全面的批处理框架，用于开发强大的日常运营的企业级批处理应用程序。）相对于他的特点定义我们肯定更倾向于他的使用的业务场景以及他是如何运作的。下面的篇幅将介绍整个springbatch的使用业务场景和它的结构原理以及如何去使用它们（最后会通过一个demo来演示）。 springbatch结合springboot 的demo：https://github.com/kellypipe/springbatch-springboot-demo
在面试的时候，尝尝会被问到分布式一些相关的问题，比如如何确保在分布式环境下 session 一致，分布式 ID 等等。我在拉勾训练营学习的时候，刚好老师有讲到，我就整理下来了。
本文实例讲述了Android编程设计模式之责任链模式。分享给大家供大家参考，具体如下：
本文给出了分布式系统的初步概念模型，通过介绍分布式消息队列的几种分类以及Redis的分布式高可用哨兵模型，进而引出分布式系统的几个特征，副本，故障总会发生，消息的多样性，异常的分类。
Spring Batch是一个基于Java的开源批处理框架，用于处理大规模、重复性和高可靠性的任务。它提供了一种简单而强大的方式来处理批处理作业，如数据导入/导出、报表生成、批量处理等。
来源: http://benjchristensen.com/2012/03/01/fault-tolerance-in-a-high-volume-distributed-system/
kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是_。 比如创建一个名为firstTopic的topic，其中有3个partition，那么在 kafka 的数据目录（/tmp/kafka-log）中就有 3 个目录，firstTopic_0~3 多个分区在集群中多个broker上的分配方法
在过去的几周里，一个自称 Avos Locker 的新兴勒索软件家族一直在加大攻击力度，同时努力在其目标系统上禁用端点安全产品。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
