Storm需要自己实现有状态的计算，比如借助于自定义的内存变量或者redis等系统，保证低延迟的情况下自己去判断实现有状态的计算，但是Flink就不需要这样，而且作为新一代的流处理系统，Flink非常重视。
流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。比如我们接收电力系统传感器的数据，当电压超过240v就报警，这就是无状态的数据。但是如果我们需要同时判断多个电压，比如三相电路，我们判断三相电都高于某个值，那么就需要将状态保存，计算。因为这三条记录是分别发送过来的。
作者简介： 少强，网名无衣蒹葭，阿里云资深工程师，主要做分布式存储和搜索相关的工作。 摘要： 介绍如何设计一个稳定、高并发、消息保序的IM系统，以及如何通过使用存储层的高级功能来优化系统架构。 在构建社交IM和朋友圈应用时，一个基本的需求是将用户发送的消息和朋友圈更新及时准确的更新给该用户的好友。为了做到这一点，通常需要为用户发送的每一条消息或者朋友圈更新设置一个序号或者ID，并且保证递增，通过这一机制来确保所有的消息能够按照完整并且以正确的顺序被接收端处理。当消息总量或者消息发送的并发数很大的时候，我们通
大数据文摘出品 编译：毅航、JonyKai、小鱼 无论你是从敌后战线发送报文或在猫咪图片里隐藏信息，用密文传递秘密信息已经有数个世纪的历史了。 本文介绍了一些最令人惊叹的密码，跟着文摘菌一起来涨知识吧。 提示：文末有彩蛋哦！ 在Mark Frary的新书《密码破译》（De/Cipher）中，介绍了历史上50个最有趣的密码和它们的破译者，包括从古希腊人到布莱切利公园的密码专家。 Mark Faray展示了这些密码的原理以及破译方法。但怎样的密码才能算有趣呢？下面是Mark Faray心目中的十佳密码。 De/
本文讲述了一种分布预写式日志系统Waltz，文中介绍了在实现预写式日志系统时遇到的问题及其解决方案，可以为类似的需求提供一定的启发。
Kafka 最初由LinkedIn公司开发的，并于 2010 年贡献给了 Apache 基金会，之后成为 Apache 顶级项目。
每个分区日志记录是顺序的, 不可变的串行offset, 追加到结构化的commit log, 每个offset 在分区中唯一标识一条记录
未来的交通工具的终极形态是怎么样的呢？早在2013年，电动汽车制造商特斯拉、SpaceX CEO伊隆·马斯克受到科幻小说和过去气动信息传递系统的启发，提出了超级高铁的构想。 按照马克斯的设想，工程人员
一，流式平台介绍 1，一般来说一个通用的流平台必须具备以下三个重要的能力： 1),能够允许你订阅和发布流式消息。在这方面，它类似于消息队列或企业消息系统。 2),它允许您以容错方式存储流式消息。 3),他可以允许你实时处理流式消息。 2，Kafka常被用于两大类应用程序： 1),构建可在系统或应用程序之间可靠获取数据的实时流数据流水线 2),构建对数据流进行变换处理的实时流应用程序 3，首先介绍一些基本概念： 1),kafka是以集群的方式运行，可以有一个或者多个Broker server。 2),kafk
1. Docker 到现在，Docker几乎是Go再难找到也难以复制的一个成功案例。Docker项目在2014年9月份就拿到了C轮4000万美元融资，版本迭代速度超快，目前从GitHub看到已有78个版本，而它仅仅是再2013年初才正式开始的一个项目而已。目前，国内Docker技术推广也进行的如火如荼，比如 Docker中文社区，CSDN也建立了 Docker专区。 Docker团队之所以喜欢用Go语言，主要是Go具有强大的标准库、全开发环境、跨平台构建的能力。 2. Kubernetes Kuberne
每台broker机器需要向所有的NameServer机器上注册自己的信息，防止单台NameServer挂掉导致Broker信息不全，保证NameServer的集群高可用。
Apache Pulsar是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯数据平台部MQ团队对Pulsar做了深入调研以及大量的性能和稳定性方面优化，目前已经在TDbank落地上线。本文是Pulsar技术系列中的一篇，主要简单梳理了Pulsar消息存储与BookKeeper存储文件的清理机制。其中，BookKeeper可以理解为一个NoSQL的存储系统，默认使用RockDB存储索引数据。
Kafka 是最初由 Linkedin 公司开发，是一个分布式、分区的、多副本的、多订阅者，基于 zookeeper 协调的分布式日志系统（也可以当做 MQ 系统），常见可以用于 web/nginx 日志、访问日志，消息服务等等，Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。
Kafka connect是Confluent公司(当时开发出Apache Kafka的核心团队成员出来创立的新公司)开发的confluent platform的核心功能。可以很简单的快速定义 connectors 将大量数据从 Kafka 移入和移出. Kafka Connect 可以摄取数据库数据或者收集应用程序的 metrics 存储到 Kafka topics，使得数据可以用于低延迟的流处理。一个导出的 job 可以将来自 Kafka topic 的数据传输到二级存储，用于系统查询或者批量进行离线分析。
很多同学可能没有接触过 Kafka Connect，大家要注意不是Connector。 Kafka Connect 是一款可扩展并且可靠地在 Apache Kafka 和其他系统之间进行数据传输的工具。
美国麻省理工学院《技术评论》杂志发表文章称机器学习算法可以帮助政府完成保密信息的分类工作。 美国国务院每年产生的电子邮件约20亿封，其中很大一部分含有敏感或机密信息，因此必须进行分类。这项工作既耗时又费钱，仅2015年一年美国政府就花了160亿美元来保护机密信息。但这种分类过程的可靠性尚不清楚，没有人知道信息分类制度能否得到一致遵守。事实上，对于应该分类管理哪些信息这一点都存在重大争议。官方机密文件的错误分类主要是人为错误，但没有人知道这些错误的影响有多大。 如今巴西智库圣保罗瓦加斯商学院的Renato R
说到日志，它就是一个将有序序列的不可变记录记下来，并将此记录可靠地保存下来的最简单的方法。如果想要构建一套数据密集型分布式服务，你可能需要一两套日志。在Facebook，我们构建了许多用来存储和处理数据的大型分布式服务。在Facebook，我们如何做到想要即连接数据处理管道的两个阶段，又无需担心数据流管控或数据丢失的呢？就是让一个阶段写入日志，另一个阶段从这个日志读取。那么如何去维护一个大型分布式数据库的索引呢？就是先让索引服务以适当的顺序应用索引更改，然后再来读取更新的日志。那要是有一个系列需要一周后再以特定顺序执行的工作呢？答案就是先将它们写入日志，让日志使用者滞后一周再来执行。一个拥有足够能力进行写入排序的日志系统，可以将你希望拥有分布式事务的梦想成为现实。既然如此，要是有持久性方面的顾虑？那就去使用预写日志吧。
先来看看相关知识点汇总，如下图。首先为了防止歧义进行说明，本课时中提到的“队列“就是指“消息队列“。
Feed流：可以理解为信息流，解决的是信息生产者与信息消费者之间的信息传递问题。 我们常见的Feed流场景有：
作者 | 陈万红，张世梁，杨世泉，余秋宇，谈云兵 策划 | 褚杏娟 这是钉钉第一次对外揭秘 DTIM(DingTalk IM，钉钉即时消息服务)。我们从设计原理到技术架构、从最底层存储模型到跨地域的单元化，全方位地展现了 DTIM 在实际生产中遇到各种挑战与解决方案，期望为企业级 IM 的建设贡献一臂之力。 钉钉已经有 2100 万 + 组织、5 亿 + 注册用户在使用。DTIM 为钉钉用户提供即时消息服务，用于组织内外的沟通，这些组织包括公司、政府、学校等，规模从几人到百万人不等。DTIM 有着丰富
在本文中，我们设计了一个类似于 Amazon Simple Storage Service (S3) 的对象存储服务。S3 是 Amazon Web Services (AWS) 提供的一项服务， 它通过基于 RESTful API 的接口提供对象存储。根据亚马逊的报告，到 2021 年，有超过 100 万亿个对象存储在 S3 中。
上一篇文章中我们讲解了利用数据库分区与冷热分离的方式来优化存储，虽然解决了查询速度慢的问题，但是在海量数据情况下依然会出现查询缓慢问题，并且部分系统中的冷热数据也是需要频繁或同时查询的。那么，这篇文章中我将带领大家来学习一下如何在设计系统架构时解决海量的数据存储与查询。
跨地域复制是 Apache Pulsar 企业级特性的重要组成部分，它保证了系统的高可用，在操作和管理上也非常便捷，今天用 5 张图来带大家学习这个功能。
👆点击“博文视点Broadview”，获取更多书讯 本文向读者介绍两个优秀的分布式消息流平台：Kafka与Pulsar。 Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kafka基于发布/订阅模式，具有高吞吐、可持久化、可水平扩展、支持流数据处理等特性。 Apache Pulsar（简称Pulsar）是雅虎开发的“下一代云原生分布式消息流平台”，于2016年开源
https://www.cnblogs.com/bainianminguo/p/12247158.html
Apache Kafka是基于发布/订阅的容错消息系统，由Scala和Java编写，是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。
RocketMQ 实现了灵活的多分区和多副本机制，有效的避免了集群内单点故障对于整体服务可用性的影响。存储机制和高可用策略是 RocketMQ 稳定性的核心，社区上关于 RocketMQ 目前存储实现的分析与讨论一直是一个热议的话题。近期我一直在负责 RocketMQ 消息多副本和高可用能力的建设，和大家分享下一些有趣的想法。
在 Flink 的框架中，进行有状态的计算是 Flink 最重要的特性之一。所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。
HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件平台上的分布式文件系统。
GIAC（GLOBAL INTERNET ARCHITECTURE CONFERENCE）是长期关注互联网技术与架构的高可用架构技术社区和msup推出的，面向架构师、技术负责人及高端技术从业人员的年度技术架构大会，是中国地区规模最大的技术会议之一。 今年的第六届GIAC大会上，在大数据架构专题，腾讯数据平台部实时计算负责人施晓罡发表了《基于Flink的高可靠实时ETL系统》的主题演讲。以下为嘉宾演讲实录： 施晓罡毕业于北京大学，获得博士学位，是Apache Flink项目Committer。在SIG
本文向读者介绍两个优秀的分布式消息流平台：Kafka与Pulsar。 Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kafka基于发布/订阅模式，具有高吞吐、可持久化、可水平扩展、支持流数据处理等特性。 Apache Pulsar（简称Pulsar）是雅虎开发的“下一代云原生分布式消息流平台”，于2016年开源，目前也在快速发展中。Pulsar集消息、存储、轻量化
所以能看到主从同步的内容就是二进制日志（Binlog），它虽然叫二进制日志，实际上存储的是一个又一个事件（Event），这些事件分别对应着数据库的更新操作，比如 INSERT、UPDATE、DELETE 等。另外我们还需要注意的是，不是所有版本的 MySQL 都默认开启服务器的二进制日志，在进行主从同步的时候，我们需要先检查服务器是否已经开启了二进制日志。
大家好呀，我是捡田螺的小男孩。金三银四即将来临，整理了十道十分经典的消息队列面试题，看完肯定对面试有帮助的，大家一起加油哈~
当从一个单体系统转向微服务架构（microservice architecture， MSA）时，处理分布式系统带来的复杂性是一个挑战。事务处理是其中的首要核心问题。在一个 Web 应用程序中使用本地事务完成的典型数据库事务，现在是一个复杂的分布式事务问题。在本文中，我们将讨论造成这种情况的原因、可能的解决方案以及使用 MSA 开发安全事务性软件系统的最佳实践。
作者：vincentchma，腾讯 IEG 后台开发工程师 一、消息队列的演进 分布式消息队列中间件是是大型分布式系统中常见的中间件。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高性能、高可用、可伸缩和最终一致性等特点。消息队列已经逐渐成为企业应用系统内部通信的核心手段，使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、Pulsar 等，此外，利用数据库（如 Redis、MySQL 等）也可实现消息队列的部分基本功能。 1.基于 OS 的
分布式消息队列中间件是是大型分布式系统中常见的中间件。消息队列主要解决应用耦合、异步消息、流量削锋等问题，具有高性能、高可用、可伸缩和最终一致性等特点。消息队列已经逐渐成为企业应用系统内部通信的核心手段，使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、Pulsar 等，此外，利用数据库（如 Redis、MySQL 等）也可实现消息队列的部分基本功能。
在这篇文章中我们将结合例子逐步讲解 Flink 是如何与 Kafka 工作来确保将 Kafka Topic 中的消息以 Exactly-Once 语义处理。
Kafka 起初是由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 Zookeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。目前越来越多的开源式分布处理系统如：Storm、Spark、Flink 等都支持与 Kafka 集成。
我是一条消息，从我被生产者发布到topic的时候，我就清楚自己的使命：被消费者获取消费。但我一直很纳闷，把我直接推送给消费者不就行了，为什么一定要先推送到类似队列的topic中呢，消息队列的作用到底是什么呢？ 在消息队列出现以前，服务之间的矛盾由来已久，服务A调用服务B，经常要等待服务B处理完后续流程再返回结果，因此服务A常常抱怨服务B接收处理能力太慢，服务B也常常把某些责任推卸给服务A，于是，消息队列出现了，让服务A只管往队列里面放消息，后续的处理流程都不用管，而服务B负责往队列里面取消息，通过巧妙
Redis最新的大版本5.0已经RC1了，其中最重要的Feature莫过于 Redis Stream 了，关于Redis Stream的基本使用介绍和设计理念可以看我之前的一篇文章（Redis Stream简介）。 Redis Stream 本质上是在Redis内核上（非Redis Module）实现的一个消息发布订阅功能组件。相比于现有的 PUB/SUB 、 BLOCKED LIST ，其虽然也可以在简单的场景下作为消息队列来使用，但是 Redis Stream 无疑要完善很多。 Redis Stream 提供了消息的持久化和主备复制功能、新的RadixTree数据结构来支持更高效的内存使用和消息读取、甚至是类似于 Kafka 的 Consumer Group 功能。今天我们重点关注怎么在实际业务场景下去使用 Redis Stream 。
消息最多传递一次，如果当时客户端不可用，则会丢失该消息。即消息在传递时，最多被送达一次。无消息可靠性保证，允许丢消息。
1、ActiveMQ服务器工作模型 通过ActiveMQ消息服务交换消息。消息生产者将消息发送至消息服务，消息消费者则从消息服务接收这些消息。这些消息传送操作是使用一组实现 ActiveMQ应用编程接口 (API) 的对象来执行的。 ActiveMQ客户端使用 ConnectionFactory 对象创建一个连接，向消息服务发送消息以及从消息服务接收消息均是通过此连接来进行。Connection 是客户端与消息服务的活动连接。创建连接时，将分配通信资源以及验证客户端。这是一个相当重要
导语 本文梳理笔者 MQ 知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括 RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件。本篇是系列文章第二篇。 RocketMQ 基础概念 Tag Tag（标签）可以看作子主题，它是消息的第二级类型，用于为用户提供额外的灵活性。使用标签，同一业务模块不同目的的消息就可以用相同 Topic 而不同的 Tag 来标识。比如交易消息又可以分为：交易创建消息、交易完成消息等
前言 什么是分布式系统?关于这点其实并没有明确且统一的定义。在我看来,只要一个系统满足以下几点就可以称之为分布式系统 系统由物理上不同分布的多个机器节点组成 系统的多个节点通过网络进行通信,协调彼此之
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
