微服务的兴起以及现代软件架构对可扩展性、灵活性和可维护性的需求导致开发人员接受各种设计模式。
经常会有A.getb().getc().d()的方法调用，有没有什么方法将调用链变短比呢，联想到操作系统是通过消息触发一系列操作，我们也可以模仿这一操作，用事件的方式调用方法，当然也有弊端会让事件到处跑，不知道有哪些方法被调用了，我在写代码的时候就喜欢事件的方式（不过聚合根还是设计的简单一些，不要嵌套太深，从根源上避免这种太深的设计）
事件溯源是构建业务逻辑和持久化聚合的另一种选择，它将聚合以一系列的方式持久化保存，每个事件代表聚合的一次状态变化。应用通过重放事件来重新创建聚合的当前状态。
在之前的文章DDD-CQRS能解什么问题中，阐述了什么是CQRS。但是并没有业务需求可以应用CQRS。最近需要处理一个文本增量更新的业务，经过需求分析后，尝试使用CQRS来解这个问题
除了聚合子流，事件源域模型的所有事件通常都按照聚合最初发出的时间顺序作为全序事件流。为此还需要一个顺序索引。因此，事件溯源数据库须支持两种类型的索引。
使用只追加存储来记录对数据采取的完整系列操作，而不是仅存储域中数据的当前状态。 该存储可作为记录系统，可用于具体化域对象。 这样一来，无需同步数据模型和业务域，从而简化复杂域中的任务，同时可提高性能、可扩展性和响应能力。 它还可提供事务数据一致性并保留可启用补偿操作的完整审核记录和历史记录。
Command Query Responsibility Segregation,CQRS 这个架构好象最近博客园里讨论得比较多，有几篇园友的文章很有深度，推荐阅读： CQRS架构简介 浅谈命令查询职责分离(CQRS)模式 DDD CQRS架构和传统架构的优缺点比较 比较有趣的是，以往一断谈及架构思路、OO这些，往往都是java大佬们的专长，而CQRS这个话题，好象.NET占了上风。园友汤雪华的ENODE开源大作，在github上人气也很旺。 于是，我逆向思路搜索了下java的类似项目，果然有一个Axon
自从软件开发的早期(1960年代)以来，解决大型软件系统中的复杂性一直是一项艰巨的任务。多年来，软件工程师和架构师为解决软件系统的复杂性进行了许多尝试：David Parnas的模块化和信息隐藏(1972)，Edsger W. Dijkstra的关注分离(1974)，面向服务的体系结构(1998)。
本文中的问题精选自上期【你问我答】——DDD（领域驱动设计）专题中读者的提问。【你问我答】是由美团点评技术团队推出的线上问答服务，你在工作学习中遇到的各种技术问题，都可以通过我们微信公众号发问，我们5000+工程师会义务为你解答，欢迎大家踊跃提问。高质量、定义清晰的问题会优先获得解答。 编者按 DDD就是帮助工程师快速理解和提炼业务本质或核心的一套方法。 DDD又分战略设计和战术设计，这两个混一块就没法谈了。战略设计就是画一个圈，把里面的模型建出来。战术设计就是，在物理层次想尽一切办法保证边界不被突破和内部
作为软件开发领域的一种设计模式，事件溯源模式在构建可伸缩、灵活和可维护的系统中发挥着关键作用。在本文中，我们将深度解析事件溯源模式的基本概念、关键组成部分、实现方式（包含样例代码）、应用场景、挑战以及最佳实践。
自弗洛伊德事件发生以来，“Black Lives Matter”的抗议活动在当地闹的沸沸扬扬，警民关系也愈发紧张。
现在PostRepository已经从所有读关注点中分离出来，除了一个：byId方法，负责通过 ID 来加载聚合以便我们对其进行操作。那么只要这一步完成，所有的查询方法都将从Post模型中剥离出来，只留下命令方法。这意味着我们可以有效地摆脱所有getter方法和任何其它暴露Post聚合信息的方法。取而代之的是，通过订阅聚合模型来发布领域事件，以触发写模型投影：
在实际的建模中，一般会通过事件风暴的形式，来发现、提取领域事件。简单来说，就是领域专家和项目团队成员通过头脑风暴的形式，来识别出领域中那些已经发生了的，并且会对业务流程产生重要影响的事件。
今天，给大家分享一下Flume的基础知识。本篇文章主要是对Flume的基本概念及架构进行一些说明。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
书接前文，《玩游戏，学技术》第一讲：需求分析 提出了最关键的一个设计，即每个游戏客户端包含一个 Pulsar 生产者和一个 Pulsar 消费者：
在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，在此，我们首先来介绍下数据采集部分所用的的开源框架——Flume。
从软件开发早期（1960 年代）开始，应对大型软件系统中的复杂性一直是一项令人生畏的任务。多年来为了应对软件系统的复杂性，软件工程师和架构师们做了许多尝试：David Parnas 的模块化和封装 （1972）， Edsger W. Dijkstra （1974）的关注点分离以及 SOA（1988）。
Apache Druid是一个高性能的实时分析数据库。它是为快速查询和摄取的工作流而设计的。Druid的优势在于即时数据可见性，即时查询，运营分析和处理高并发方面。
上集：微服务业务开发三个难题－拆分、事务、查询（上） 上集我们阐述了使用微服务体系架构的关键障碍是领域模型，事务和查询，这三个障碍似乎和功能拆分具有天然的对抗。只要功能拆分了，就涉及这三个难题。 然后我们向你展示了一种解决方案就是将每个服务的业务逻辑实现为一组DDD聚合。然后每个事务只能更新或创建一个单独的聚合。然后通过事件来维护聚合（和服务）之间的数据一致性。 在本集中，我们将会向你介绍使用事件的时候遇到了一个新的问题，就是怎么样通过原子方式更新聚合和发布事件。然后会展示如何使用事件源来解决这个问题，
这家为47家美国最大的警察机构提供摄像设备及软件的公司，这一次竟然割爱，主动放弃了人脸识别这一在安防领域颇具潜力的技术。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
kafka 传统上被视为一个强大的消息总线，能够处理事件流，但是不具备对数据的处理和转换能力。kafka可靠的流处理能力，使其成为流处理系统的完美数据源，Apache Storm，Apache Spark streams,Apache Flink,Apache samza 的流处理系统都是基于kafka构建的，而kafka通常是它们唯一可靠的数据源。 行业分析师有时候声称，所有这些流处理系统就像已存在了近20年的复杂事件处理系统一样。我们认为流处理变得更加流行是因为它是在kafka之后创建的，因此可以使用kafka做为一个可靠的事件流处理源。日益流行的apache kafka,首先做为一个简单的消息总线，后来做为一个数据集成系统，许多公司都有一个系统包含许多有趣的流数据，存储了大量的具有时间和具有时许性的等待流处理框架处理的数据。换句话说，在数据库发明之前，数据处理明显更加困难，流处理由于缺乏流处理平台而受到阻碍。 从版本0.10.0开始，kafka不仅仅为每个流行的流处理框架提供了更可靠的数据来源。现在kafka包含了一个强大的流处理数据库作为其客户端集合的一部分。这允许开发者在自己的应用程序中消费，处理和生成事件，而不以来于外部处理框架。 在本章开始，我们将解释流处理的含义，因为这个术语经常被误解，然后讨论流处理的一些基本概念和所有流处理系统所共有的设计模式。然后我们将深入讨论Apache kafka的流处理库，它的目标和架构。我们将给出一个如何使用kafka流计算股票价格移动平均值的小例子。然后我们将讨论其他好的流处理的例子，并通过提供一些标准来结束本章。当你选择在apache中使用哪个流处理框架时可以根据这些标准进行权衡。本章简要介绍流处理，不会涉及kafka中流的每一个特性。也不会尝试讨论和比较现有的每一个流处理框架，这些主题值得写成整本书，或者几本书。
。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，因此 Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。
你的源代码是不是感觉像一个大泥球？依赖项是否在您的代码库中交织在一起，以至于改变感觉很危险或不可能？ 随着业务的增长和领域模型（您在应用程序中解决的业务问题）变得更加复杂，我们如何在不从头开始重新编写所有内容的情况下解开我们创建的混乱？更好的是，我们如何避免一开始就陷入混乱？ 鸟瞰图 以下是 Python 架构模式中介绍的技术的简要总结： 分层架构 单一职责 视图 vs 服务 vs 存储库 vs ORM vs 域 依赖倒置 高级与低级模块 抽象 领域驱动设计 先说“业务上下文” 领域建模（事件风暴等
在本次实验中，您将在 Cloudera SQL Stream Builder使用 SQL 语言查询和操作数据流。SQL Stream Builder 是一项功能强大的服务，使您无需编写 Java/Scala 代码即可创建 Flink 作业。
Apache Kafka 是什么？干什么用的？本文试图从基本元素等微观角度去剖析Apache Kafka的原理机制。作为一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于大数据实时处理领域，由 LinkedIn 开发，基于Scala 编写，Apache Kafka以可水平扩展和高吞吐率而被广泛使应用于各行各业，是大型分布式系统不可缺少的中间件产品。
Kafka被广泛认为是一种强大的消息总线，可以可靠地传递事件流，是流式处理系统的理想数据来源。流式处理系统通常是指一种处理实时数据流的计算系统，能够对数据进行实时的处理和分析，并根据需要进行相应的响应和操作。与传统的批处理系统不同，流式处理系统能够在数据到达时立即进行处理，这使得它们特别适合需要实时响应的应用程序，例如实时监控和警报、实时推荐、实时广告投放等。
看到博客园一位园友写了一篇文章，其中的观点是，要想高性能，需要尽量：避开网络开销（IO），避开海量数据，避开资源争夺。对于这3点，我觉得很有道理。所以也想谈一下，CQRS架构下是如何实现高性能的。
http://www.cnblogs.com/netfocus/p/4055346.html
微服务架构，独享数据库、事件驱动、CQRS、Saga、BFF、API 网关、Strangler、断路器、外部化配置、消费端驱动的契约测试
在本文中，我们将学习如何使用设计模式、原则和最佳实践来设计微服务架构。我们将使用正确的架构设计模式和技术。 在本文结束时，您将了解如何在微服务分布式架构上设计系统以实现高可用性、高可扩展性、低延迟和对网络故障的弹性，从而处理数百万个请求。 Event-Driven Architecture 本课程将是软件架构设计的旅程，逐步将架构单片演变为事件驱动的微服务。 我们将从设计处理少量请求的电子商务整体架构开始软件架构的基础知识。 Journey of Design Architectures 之后逐步演
CQRS由Greg Young提出，目前在DDD领域中被广泛使用。在我看来，它甚至可以被称为是一种架构风格，可以取得与MapReduce，REST同等的地位，对软件系统的整体架构产生重要影响。 CQRS即Command Query Responsibility Seperation（命令查询职责分离），其设计思想来源于Mayer提出的CQS（Command Query Seperation）。这种命令与查询的分离方式，可以更好地控制请求者的操作。查询操作不会造成数据的修改，因而它属于一种幂等操作，可以反复地
在《当我们在讨论CQRS时，我们在讨论些神马》中，我们讨论了当使用CQRS的过程中，需要关心的一些问题。其中与CQRS关联最为紧密的模式莫过于Event Sourcing了，CQRS与ES的结合，为我们构造高性能、可扩展系统提供了基本思路。本文将介绍 Kanasz Robert在《Introduction to CQRS》中的示例项目Diary.CQRS。
一、事实表基础 二、事实表设计规则 三、事实表设计方法 四、有事实的事实表 五、无事实的事实表 六、聚集型事实表
在本系列的前两篇文章中，我分别讲到了后端项目的代码模板和DDD编码实践，在本文中，我将继续以编码实践的方式分享如何落地事件驱动架构。
在Provenance存储库中存储每个FlowFile的历史记录。此历史记录用于提供每个数据的数据沿袭（也称为产销监管链）。每次为FlowFile发生事件（创建，分叉，克隆，修改FlowFile等）时，都会创建一个新的Provenance事件。这个出处事件是流文件的快照，因为它看起来就是在那个时间点存在的流。创建Provenance事件后，它将复制所有FlowFile的属性和指向FlowFile内容的指针，并将其与FlowFile的状态（例如其与其他出处事件的关系）聚合到Provenance存储库里。该快照将不会更改，直到过期。根据“nifi.properties”文件中的指定，Provenance存储库将在完成后的一段时间内保留所有这些来源事件。
来自Flink Forward Berlin 2017的最受欢迎的会议是Robert Metzger的“坚持下去：如何可靠，高效地操作Apache Flink”。 Robert所涉及的主题之一是如何粗略地确定Apache Flink集群的大小。 Flink Forward的与会者提到他的群集大小调整指南对他们有帮助，因此我们将他的谈话部分转换为博客文章。 请享用！
批处理模型典型的数仓架构为T+1架构，即数据计算是按天计算的，当天只能看到前一天的计算结果。通常使用的引擎为Hive或者Spark等。计算的时候，数据是完全ready的，输入和输出都是确定性的
今天我们要分享一个比较有意思的内容。就是如何通过spring cloud 的stream来改造一个微服务下事件驱动的框架。 为什么要改造？我们都知道事件驱动的微服务开发框架，一个非常重要的点就是每次的
在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。
这一部分，主要是badjs-report，他的任务是捕捉js的报错，并把报错进行上报。这一部分，主要是要在页面中引入js，并配置，这一部分并不属于二次开发的范畴中，所以，不详述了。
最近几年DDD（领域驱动设计 domain-driven design）概念很火，它以统一的语言来表述业务流程和技术架构，方便领域专家、技术开发交流达成共识，不失为一个复杂业务的解决之道。
我们都有过上机器查日志的经历，当集群数量增多的时候，这种原始的操作带来的低效率不仅给我们定位现网问题带来极大的挑战，同时，我们也无法对我们服务框架的各项指标进行有效的量化诊断，更无从谈有针对性的优化和改进。这个时候，构建具备信息查找，服务诊断，数据分析等功能的实时日志监控系统尤为重要。
信息安全体系构建中流量监听是一种常见的防护手段，从流量抓取到日志落地，从日志分析到威胁报警，相应产品基于流量分析模式，从最上层的处理逻辑来看是相近的，使用Suricata还是Snort处理流程类似接近，最粗放的方式去理解他们，这些系统都属于“大型字符串处理过滤系统”。
之前花了不小的篇幅来解释线性回归，尽管线性模型本身十分简单，但是确定模型参数的过程，却是一种数据驱动的、自学习的通用方式。准确的说，这个过程，是基于数据的、运用梯度下降算法来优化模型（减小损失）的算法框架。无论模型变得多复杂（多维、高阶），理论上我们都可以利用这个算法过程拟合模型。 似乎当有了数据就有了一切，但是这其中隐藏着一个假设：要事先知道模型的函数形式。 在复杂的现实问题面前，这个假设注定是毫无用处的。如果要对手写体数字进行分类，那么这个模型是几元的？几次的？包含多少项？不知道。这个时候，仅有大量的样
•本来打算写一个flink源码分析的系列文章，但由于事情太多，又不太想输出低质量的文章，所以开始看一些好的flink相关博客，本文译自https://www.ververica.com/blog/apache-flink-at-mediamath-rescaling-stateful-applications ；•flink中state的划分和介绍；•flink 中operator state在什么时候会进行rescale以及如何进行rescale？；•flink 中keyed state的when and how？。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
