alpakka项目是一个基于akka-streams流处理编程工具的scala/java开源项目，通过提供connector连接各种数据源并在akka-streams里进行数据处理。alpakka-kafka就是alpakka项目里的kafka-connector。对于我们来说：可以用alpakka-kafka来对接kafka，使用kafka提供的功能。或者从另外一个角度讲：alpakka-kafka就是一个用akka-streams实现kafka功能的scala开发工具。
Scala是可伸缩语言(Scalable Language)的缩写，读作skah-lah， 于2004年1月20日发布了第一个公开版本。其实早在2001年，Martin Odersky就开始Scala的设计工作，Martin 是瑞士洛桑联邦理工大学（EPFL）计算机与通信科学学院的一名教授， Martin曾和Haskell 语言设计者之一 Philip Wadler合作，设计了一个原型系统GJ， 最终演变为 Java 泛型。Martin还曾受雇于 Sun 公司，编写了 javac 的参考编译器，这套系统后来
Akka 是一个开源的并发、分布式、基于消息驱动的框架，用于构建高可伸缩性、可靠性和并发性强的应用程序。它是基于 JVM（Java虚拟机）的，主要使用 Scala 编程语言开发，但也提供了 Java API，因此可以在 Java 和 Scala 中使用。
最近，我一直在研究 Pulsar 及其与 Kafka 的比较。通过快速搜索，你会看到这两个最著名的开源消息传递系统之间正在进行的"战争"。
概括的说，Reactive Streams 是个规范，它规范了“有非阻塞背压机制的异步的流处理”。挺简单的定义，但是能够真正正确理解异步、非阻塞并不容易，以后单独开写一篇。实际上Reactive Streams规范或者说它的第三方代码实现包含的内容更加丰富：除了non-blocking，还有：Composable、Deferred、Flow Controll、Resilient、Interruptible。
淘宝从2018年开始对整体架构进行反应式升级， 取得了非常好的成绩。其中『猜你喜欢』应用上限 QPS 提升了 96%，同时机器数量缩减了一半；另一核心应用『我的淘宝』实际线上响应时间下降了 40% 以上。PayPal凭借其基于Akka构建的反应式平台squbs，仅使用8台2vCPU虚拟机，每天可以处理超过10亿笔交易，与基于Spring实现的老系统相比，代码量降低了80%，而性能却提升了10倍。能够取得如此好的成绩，人们不禁要问反应式到底是什么？ 其实反应式并不是一个新鲜的概念，它的灵感来源最早可以追溯到90年代，但是直到2013年，Roland Kuhn等人发布了《反应式宣言》后才慢慢被人熟知，继而在2014年迎来爆发式增长，比较有意思的是，同时迎来爆发式增长的还有领域驱动设计(DDD)，原因是2014年3月25日，Martin Fowler和James Lewis向大众介绍了微服务架构，而反应式和领域驱动是微服务架构得以落地的有力保障。紧接着各种反应式编程框架相继进入大家视野，如RxJava、Akka、Spring Reactor/WebFlux、Play Framework和未来的Dubbo3等，阿里内部在做反应式改造时也孵化了一些反应式项目，包括AliRxObjC、RxAOP和AliRxUtil等。 从目前的趋势看来，反应式概念将会逐渐深入人心， 并且将引领下一代技术变革。
实际上很早就写了一系列关于akka-streams的博客。但那个时候纯粹是为了了解akka而去学习的，主要是从了解akka-streams的原理为出发点。因为akka-streams是akka系列工具的基础，如：akka-http, persistence-query等都是基于akka-streams的，其实没有真正把akka-streams用起来。这段时间所遇到的一些需求也是通过集合来解决的。不过，现在所处的环境还是逼迫着去真正了解akka-streams的应用场景。现状是这样的：跨入大数据时代，已经有大量的现代IT系统从传统关系数据库转到分布式数据库（非关系数据库）了。不难想象，这些应用的数据操作编程不说截然不同吧，肯定也会有巨大改变。特别是在传统SQL编程中依赖数据关系的join已经不复存在了，groupby、disctict等操作方法也不是所有的分布式数据库都能支持的。而这些操作在具体的数据呈现和数据处理中又是不可缺少的。当然，有很多需求可以通过集合来满足，但涉及到大数据处理我想最好还是通过流处理来实现，因为流处理stream-processing的其中一项特点就是能够在有限的内存空间里处理无限量的数据。所以流处理应该是分布式数据处理的理想方式了。这是这次写akka-streams的初衷：希望能通过akka-streams来实现分布式数据处理编程。
C# 5引入了Async/Await，用以提高用户界面响应能力和对Web资源的访问能力。换句话说，异步方法用于执行不阻塞线程并返回一个标量结果的异步操作。
Kafka在大规模内部托管和管理方面确实很困难，但它提供的实际好处和功能超过了运营方面的挑战。
MongoDB 从 3.6 开始为开发者提供了 Change Streams 功能，利用 Change Streams 功能可以非常方便地监听指定 Collection 上的数据变化。例如在 mongo shell 中，我们可以通过如下方式监听 shopping 数据库 order 表上的变化：
Play Mongo 是一个专门为 Play Framework 开发的 MongoDB 模块, 该项目基于 MongoDB 官方的 Scala 驱动，并且提供了更多的实用功能，例如，
上面这段文字摘抄自 Akka 官网（akka.io），翻译成中文也就是：“Akka 是一个为 Java 和 Scala 构建高并发、分布式和弹性消息驱动应用程序的工具包”。而 Akka 具有的一切特性，其实都源自于一个用于处理并发计算问题的模型——Actor 模型。
介绍 从Play2.5.x开始，Play使用Akka Streams实现流处理，废弃了之前的Enumerator/Iteratee Api。根据官方文档描述，迁移至Akka Streams之后，Play2.5.x的整体性能提升了20%，性能提升相当可观。虽然官方已经更新了JavaStream的文档，但是ScalaStream的文档仍然没有更新，已经提了issue，希望能尽快得到反馈。 ReactiveMongo是一个基于Scala开发的完全异步非阻塞、并且提供流处理功能的MongoDB驱动。该项目目前的流处
Reactor 3是一个围绕Reactive Streams规范构建的库，它在JVM上引入了响应式编程的一个范例。目前Spring5 引入的Webflux就是reactor 3实现的一个响应式web框架。Spring Cloud Gateway是Webflux的一个网关场景实践。想学好上面这两项技术必须搞明白响应式编程以及Reactor 3。本篇文章中小胖哥将带你简单了解响应式编程和Reactor 3。
KillSwitch是Akka中用于实现多播和流处理的工具。它通过将多个数据流共享一个单一的KillSwitch来控制多个数据流的终止。使用KillSwitch时，多个数据流可以共享一个单一的KillSwitch，并通过调用KillSwitch的shutdown()方法来同时终止所有数据流的执行。此外，KillSwitch还可以通过调用abort()方法来终止数据流的执行，并抛出异常。在Akka中，使用KillSwitch可以有效地管理多个数据流，并确保所有数据流都按照预期执行。
Reactive Programming(响应式编程)已经不是一个新东西了。关于 Reactive 其实是一个泛化的概念，由于很抽象，一些理论性的介绍很容易把人带到沟里去，包括一些语言框架在实现上也会使用不同的一些概念。
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括：
change streams从本质上来说是提供了一种基于mongoDB的CDC（Change Data Capture）的解决方案。所谓的CDC就是变化数据捕获，简单理解为监听数据库系统的变更就好。下面的图中描述了CDC的典型场景，左边的是主数据库，不同的客户端可以向其中插入数据（有前后关系）；中间是一个队列，这些数据变化都会被放到里面；右边是派生数据系统，消费队列里的变化，然后用作搜索和数据仓库等应用。市场上也不乏这种专门做CDC的产品，比如：HEVO，其宣称的优势包括：1）简单易上手，无需代码；2）良好的交互式用户界面；3）支持多种数据源；4）可容错的安全架构等。
alpakka-kafka-consumer的功能描述很简单：向kafka订阅某些topic然后把读到的消息传给akka-streams做业务处理。在kafka-consumer的实现细节上，为了达到高可用、高吞吐的目的，topic又可用划分出多个分区partition。分区是分布在kafka集群节点broker上的。由于一个topic可能有多个partition，对应topic就会有多个consumer，形成一个consumer组，共用统一的groupid。一个partition只能对应一个consumer、而一个consumer负责从多个partition甚至多个topic读取消息。kafka会根据实际情况将某个partition分配给某个consumer，即partition-assignment。所以一般来说我们会把topic订阅与consumer-group挂钩。这个可以在典型的ConsumerSettings证实：
关于grpc，在前面的scalaPB讨论里已经做了详细的介绍：google gRPC是一种全新的RPC框架，在开源前一直是google内部使用的集成工具。gRPC支持通过http/2实现protobuf格式数据交换。protobuf即protocol buffer，是google发明的一套全新的序列化传输协议serialization-protocol，是二进制编码binary-encoded的，相对java-object，XML，Json等在空间上占有优势，所以数据传输效率更高。由于gRPC支持http/2协议，可以实现双向通讯duplex-communication，解决了独立request/response交互模式在软件编程中的诸多局限。这是在系统集成编程方面相对akka-http占优的一个亮点。protobuf格式数据可以很方便的转换成 json格式数据，支持对外部系统的的开放协议数据交换。这也是一些人决定选择gRPC作为大型系统微服务集成开发工具的主要原因。更重要的是：用protobuf和gRPC进行client/server交互不涉及任何http对象包括httprequest,httpresponse，很容易上手使用，而且又有在google等大公司内部的成功使用经验，用起来会更加放心。
针对目前大家对OOM的类型不太熟悉，那么来总结一下各种OOM出现的情况以及解决方法。把各种OOM的情况列出来，然后逐一进行代码编写复现和提供解决方法。
本文作者知秋，节选自《Java编程方法论：响应式Spring Reactor 3设计与实现》一书。 -------
在这篇文章中，我将解释Kafka Streams抑制的概念。尽管它看起来很容易理解，但还是有一些内在的问题/事情是必须要了解的。这是我上一篇博文CDC分析的延续。
监控数据库发生的变化是MongoDB同步数据服务的关键。我们不需要去定期轮训查询集合中的更改文档，我们就可以可以更轻松地过滤Change Streams 变化流，并立即采取处理错误。这是一种Reactive反应式编程风格，可以非常强大。如今，获取这些变更信息流非常简单。
作者 | 张逸 特别说明：本文包含大量代码片段，若要获得更好阅读观感，请点击文末“阅读原文”或访问我的博客。 响应式编程（Reactive Programming）的本质是异步非阻塞的高响应式处理，最核心思想则为Everything is stream，即针对流进行处理，这是其根本。从这个角度讲，我们可以将响应式编程的设计思想视为Stream-Oriented Design，即面向流的设计。 正如面向对象设计以对象为基本设计要素，函数式编程思想以函数为基本设计要素，响应式编程则应该以流为基本设计要素。这带来
问题导读 1.DStreams的含义是什么？ 2.DStreams提供哪两种类型的操作？ 3.Transformations操作分为哪两种类型？ 4.本文说了哪些输入源？ 5.什么是batch？ 本篇做了一些细节优化，防止初学者在看到的时候，造成误解.如有问题，欢迎交流 RDD与job之间的关系 Spark Streaming是构建在Spark上的实时流计算框架，扩展了Spark流式大数据处理能 力。Spark Streaming将数据流以时间片为单位分割形成RDD，使用RDD操作处理每一块数 据
Kafka被广泛认为是一种强大的消息总线，可以可靠地传递事件流，是流式处理系统的理想数据来源。流式处理系统通常是指一种处理实时数据流的计算系统，能够对数据进行实时的处理和分析，并根据需要进行相应的响应和操作。与传统的批处理系统不同，流式处理系统能够在数据到达时立即进行处理，这使得它们特别适合需要实时响应的应用程序，例如实时监控和警报、实时推荐、实时广告投放等。
本文是一个系列文章的第一部分，阐述了如何基于事件溯源的理念在不影响既有业务的情况下，对单体式的 CRUD 应用进行改造。
基于数据库的数据复制技术大体上可分为两类：数据库自己提供的数据容灾模块和第三方厂商提供的数据库复制技术。以最常见的Oracle数据库为例，Oracle自己的数据复制技术有Data Guard，Streams，Advanced Replication和Golden Gate数据复制软件。第三方厂商的数据复制技术有Quest公司的Share Plex和DSG的RealSync等。
Kafka流通过构建Kafka生产者和消费者库，并利用Kafka的本地功能来提供数据并行性、分布式协调、容错和操作简单性，从而简化了应用程序开发。 下图展示了一个使用Kafka Streams库的应用程序的结构。
流处理平台（Streaming Systems）是处理无限数据集（Unbounded Dataset）的数据处理引擎，而流处理是与批处理（Batch Processing）相对应的。所谓的无线数据，指的是数据永远没有尽头。而流处理平台就是专门处理这种数据集的系统或框架。下图生动形象地展示了流处理和批处理的区别：
在以前的博文中我们介绍了Slick，它是一种FRM（Functional Relation Mapper）。有别于ORM，FRM的特点是函数式的语法可以支持灵活的对象组合（Query Compos
作者 | Nahla Davies 译者 | 明知山 策划 | 丁晓昀 本文讨论了 Java Collections Framework 背后的目的、Java 集合的工作原理，以及开发人员和程序员如何最大限度地利用 Java 集合。 1 什么是 Java 集合 尽管 Java 已经过了 25 岁生日，仍然是当今最受欢迎的编程语言之一。超过 100 万个网站通过某种形式在使用 Java，超过三分之一的软件开发人员的工具箱中有 Java。 Java 在它的整个生命历程中经历了重大的演变。一个早期的
在Java应用程序中，I/O（输入/输出）操作是不可或缺的部分。它们使我们能够从文件中读取数据、向文件中写入数据、与网络通信，以及执行许多其他与数据交互相关的任务。理解Java I/O流的概念、类型、节点流、处理流以及性能优化是成为一名优秀的Java开发者的关键一步。
Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。
当谈及Java编程的核心要素时，I/O流（输入/输出流）无疑是其中之一。I/O流在Java中扮演着重要角色，用于在程序和外部世界之间传输数据。本文将深入探讨Java中的I/O流，介绍不同类型的流以及它们在实际应用中的作用。
多年前，我们在介绍 java8 新特性的时候，提到过作为 java8 一个亮点的新特性 -- streams api
在Play项目中我们经常需要开发一些自定义Filter完成一些特定任务，在Filter实现中通常需要根据Response的Content-Type做相应的处理。例如实现一个CacheFilter只缓存js/css/img等静态文件，LoggerFilter只打印html响应的请求，GzipFilter忽略image类型响应(因为image本身就是压缩类型)。所以正确的获取Content-Type在开发Filter时显得尤为重要。在Play2.5.x中，Content-Type的获取方式发生了一些变化，下面对
核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。
•Kafka Stream 提供了一个非常简单而轻量的 Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署•除了 Kafka 外，无任何外部依赖•充分利用 Kafka 分区机制实现水平扩展和顺序性保证•通过可容错的 state store 实现高效的状态操作（如 windowed join 和aggregation）•支持正好一次处理语义•提供记录级的处理能力，从而实现毫秒级的低延迟•支持基于事件时间的窗口操作，并且可处理晚到的数据（late arrival of records）•同时提供底层的处理原语 Processor（类似于 Storm 的 spout 和 bolt），以及高层抽象的DSL（类似于 Spark 的 map/group/reduce）
akka-stream是基于Actor模式的，所以也继承了Actor模式的“坚韧性（resilient）”特点，在任何异常情况下都有某种整体统一的异常处理策略和具体实施方式。在akka-stre
为了使用 Akka 持久化（Persistence）功能，你必须在项目中添加如下依赖：
首先声明：标题上的所谓编程模式是我个人考虑在集群环境下跨节点（jvm）的流程控制编程模式，纯粹按实际需要构想，没什么理论支持。在5月份的深圳scala meetup上我分享了有关集群环境下的编程模式思路。我提供了下面这个示意图：
本期的 Java 新闻综述的消息包括 OpenJDK、JDK 18、JDK 19、Loom 和 Panama 项目、Jakarta EE、Groovy 4.0、Spring Framework 更新、Micronaut 3.3.0、GraalVM 22.0 CE、Liberica NIK、MicroProfile Reactive Streams Operators 3.0-RC1、Hibernate 更新、JHipster 7.6、IntelliJ IDEA 2021.3.2、JReleaser 早期访问版本、Apache Camel 与 Camel K 以及 Foojay.io 的 FOSDEM。
Kafka通过一个语言独立的协议发布其所有功能，这个协议在很多编程语言都有可用的客户端。不过只有Java客户端是作为主要Kafka项目的一部分来维护的，其他客户端是以独立的开源项目提供的。无Java客户端在这里提供。
Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature，它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之，Kafka Stream就是一个用来做流计算的类库，与Storm、Spark Streaming、Flink的作用类似，但要轻量得多。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
