再有两天就进入2018了,想想还是要准备一下明年的工作方向。回想当初开始学习函数式编程时的主要目的是想设计一套标准API給那些习惯了OOP方式开发商业应用软件的程序员们，使他们能用一种接近传统数据库软件编程的方式来实现多线程，并行运算，分布式的数据处理应用程序，前提是这种编程方式不需要对函数式编程语言、多线程软件编程以及集群环境下的分布式软件编程方式有很高的经验要求。前面试着发布了一个基于scalaz-stream-fs2的数据处理工具开源项目。该项目基本实现了多线程的数据库数据并行处理，能充分利用域内服务器的多核CPU环境以streaming，non-blocking方式提高数据处理效率。最近刚完成了对整个akka套装（suite）的了解，感觉akka是一套理想的分布式编程工具：一是actor模式提供了多种多线程编程方式，再就是akka-cluster能轻松地实现集群式的分布式编程，而集群环境变化只需要调整配置文件，无需改变代码。akka-stream是一套功能更加完整和强大的streaming工具库，那么如果以akka-stream为基础，设计一套能在集群环境里进行分布式多线程并行数据处理的开源编程工具应该可以是2018的首要任务。同样，用户还是能够按照他们熟悉的数据库应用编程方式轻松实现分布式多线程并行数据处理程序的开发。
Akka 是一个开源的并发、分布式、基于消息驱动的框架，用于构建高可伸缩性、可靠性和并发性强的应用程序。它是基于 JVM（Java虚拟机）的，主要使用 Scala 编程语言开发，但也提供了 Java API，因此可以在 Java 和 Scala 中使用。
在大数据程序流行的今天，许多程序都面临着共同的难题：程序输入数据趋于无限大，抵达时间又不确定。一般的解决方法是采用回调函数（callback-function）来实现的，但这样的解决方案很容易
实际上很早就写了一系列关于akka-streams的博客。但那个时候纯粹是为了了解akka而去学习的，主要是从了解akka-streams的原理为出发点。因为akka-streams是akka系列工具的基础，如：akka-http, persistence-query等都是基于akka-streams的，其实没有真正把akka-streams用起来。这段时间所遇到的一些需求也是通过集合来解决的。不过，现在所处的环境还是逼迫着去真正了解akka-streams的应用场景。现状是这样的：跨入大数据时代，已经有大量的现代IT系统从传统关系数据库转到分布式数据库（非关系数据库）了。不难想象，这些应用的数据操作编程不说截然不同吧，肯定也会有巨大改变。特别是在传统SQL编程中依赖数据关系的join已经不复存在了，groupby、disctict等操作方法也不是所有的分布式数据库都能支持的。而这些操作在具体的数据呈现和数据处理中又是不可缺少的。当然，有很多需求可以通过集合来满足，但涉及到大数据处理我想最好还是通过流处理来实现，因为流处理stream-processing的其中一项特点就是能够在有限的内存空间里处理无限量的数据。所以流处理应该是分布式数据处理的理想方式了。这是这次写akka-streams的初衷：希望能通过akka-streams来实现分布式数据处理编程。
说实话，本人刚开始的时候也是同样的反应。但是由于Java的类型安全，执行性能和坚如磐石的工具，我渐渐地开始欣赏Java。同时我注意到，现在的Java已今非昔比——它在过去的10年间稳健地改善着。
通信是分布式程序的血液和神经，就好比大脑发出的执行需要通过神经和需要才能传递到手脚进行执行。可见好的通信能力是分布式系统的重重之中。
3.4 Spark通信机制 前面介绍过，Spark的部署模式可以分为local、standalone、Mesos、YARN等。 本节以Spark部署在standalone模式下为例，介绍Spark的通信机制（其他模式类似）。 3.4.1 分布式通信方式 先介绍分布式通信的几种基本方式。 1. RPC 远程过程调用协议（Remote Procedure Call Protocol, RPC）是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC假定某些传输协议的存在，如TCP或UD
每当我告诉别人我一直在用Java工作时，大家的反应都是： “纳尼！Java？为啥是Java？” 说实话，本人刚开始的时候也是同样的反应。但是由于Java的类型安全，执行性能和坚如磐石的工具，我渐渐地开
在现实应用中akka-stream往往需要集成其它的外部系统形成完整的应用。这些外部系统可能是akka系列系统或者其它类型的系统。所以，akka-stream必须提供一些函数和方法来实现与各种不
akka-stream原则上是一种推式（push-model）的数据流。push-model和pull-model的区别在于它们解决问题倾向性：push模式面向高效的数据流下游（fast-dow
《基于Actor的响应式编程》计划分为三部分，第一部分剖析响应式编程的本质思想，为大家介绍何谓响应式编程（Reactive Programming）。第二部分则结合两个案例来讲解如何在AKKA中实现响应式编程。第三部分则是这个主题的扩展，在介绍Reactive Manifesto的同时，介绍进行响应式编程更为主流的ReactiveX框架。本文是第二部分的第二个案例。 MapReduce是更好地利用并行计算资源来提升数据处理能力的重要算法，如今已被主流的大数据分析平台实现，成为了大数据批量处理的主力军。利用前
当前社会，人们越来越享受互联网带来的种种便利，同时也对互联网产品有了更高的要求，比如更快的响应速度和更稳定的服务；另一方面，互联网产品在不断发展的过程中也面临着非常多的技术挑战，比如服务化、分布式、并行计算等，那么，Akka在其中的哪些领域可以一展身手呢？
作者 | 张逸 特别说明：本文包含大量代码片段，若要获得更好阅读观感，请点击文末“阅读原文”或访问我的博客。 响应式编程在前端开发以及Android开发中有颇多运用，然而它的非阻塞异步编程模型以及对消息流的处理模式也在后端得到越来越多的应用。除了Netflix的OSS中大量使用了响应式编程之外，最近阿里也提出Dubbo 3.0版本将全面拥抱响应式编程。 我之前针对某些项目需求也给出了响应式编程的方案，较好地解决了并行编程与异步编程的问题。不过在深入了解响应式编程之后，我也给出了自己的一些实践总结。 响应式编
输入DStream代表了来自数据源的输入数据流。在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数据，并将其存储在Spark的内存中，以供后续处理。 Spark Streaming提供了两种内置的数据源支持； 1、基础数据源：StreamingContext API中直接提供了对这些数据源的支持，比如文件、socket、Akka Actor等。 2、高级数据源：诸如Kafka、Flume、Kinesis、Twitter等数据源，通过第三方工具类提供支持。这些数据源的使用，需要引用其依赖。 3、自定义数据源：我们可以自己定义数据源，来决定如何接受和存储数据。
本文主要讲解Scala的并发（并行）编程，那么为什么题目概称geotrellis使用（六）呢，主要因为本系列讲解如何使用Geotrellis，具体前几篇博文已经介绍过了。我觉得干任何一件事情基础很重要，就像当年参加高考或者各种考试一样，老师都会强调基础，这是很有道理的。使用Geotrellis框架的基础就是Scala和Spark，所以本篇文章先来介绍一下Scala编程语言，同样要想搞明白Scala并发（并行）编程，Scala基础也很重要，没有Scala语言基础就谈不上Scala并发编程也就更谈不
《基于Actor的响应式编程》计划分为三部分，第一部分剖析响应式编程的本质思想，为大家介绍何谓响应式编程（Reactive Programming）。第二部分则结合两个案例来讲解如何在AKKA中实现响应式编程。第三部分则是这个主题的扩展，在介绍Reactive Manifesto的同时，介绍进行响应式编程更为主流的ReactiveX框架。本文是第二部分的第一个案例。 《剖析响应式编程的本质》从Actor模型与响应式编程中找到彼此相配的特征；然而空口无凭，没有一点真凭实据，凭什么他们能立下海誓山盟、比翼双飞呢
欢迎来到 Akka，它是一组用于设计跨越处理器和网络的可扩展、弹性系统的开源库。Akka 允许你专注于满足业务需求，而不是编写初级代码来提供可靠的行为、容错性和高性能。
本篇作为scala快速入门系列的第四十篇博客，为大家带来的是关于Akka的内容。
欢迎使用 Akka，Akka 是一套被用来在在多处理器核心和网络之间被设计可扩展和具有相关弹性的开源工具集。Akka 允许你更加关注商业需求而不是书写低级别的代码来提供可靠性，容错率和高性能。
基于Actor的响应式编程计划分为三部分，第一部分剖析响应式编程的本质思想，为大家介绍何谓响应式编程（Reactive Programming）。第二部分则结合两个案例来讲解如何在AKKA中实现响应式编程。第三部分则是这个主题的扩展，在介绍Reactive Manifesto的同时，介绍进行响应式编程更为主流的ReactiveX框架。 响应式编程（Reactive Programming）到底是什么？从名词定义来讲，中文的响应式并没有很好地展现Reactive的本意。响应这个词语是一个中性词，本身没有任何倾
所以我从一个简单的Java程序开始，运行一个while循环直到EOF，然后进行JDBC调用来存储值。这是需要花一个小时才完成了，但后来我意识到程序的运行时比创建程序花费的时间更长。因此，任务并不像看起来那么容易。那可以做些什么呢？当然，我意识到我需要并行完成任务。
介绍 Lagom是一个帮助您构建反应式微服务的框架。 大多数微服务框架着重于帮助您构建脆弱的单实例微服务，根据定义，这些微服务不具可扩展性或不具有弹性。 Lagom帮助您将微服务作为系统（反应系统）进行构建，以确保您的微服务从一开始就具有弹性。 构建反应系统可能很困难，但是Lagom则将从复杂性中脱离出来。 Akka和Play在下面做了大量的工作，开发人员可以专注于一个更简单的事件驱动的编程模型，同时受益于一个消息驱动的系统。 Lagom提供了一个有意见的框架，像导轨一样加快你的旅程。 Lagom工
Scala是一种强大的语言，很快就成为许多开发人员的最爱。然而，语言只是一个起点 - 并非每个函数都将由语言核心覆盖。Scala还创建了一些厉害的框架。接下来看看Scala的4个强大框架以及其优点和缺点。请记住，框架的最佳选择总是应符合您特定项目的要求——因此，请酌情考虑我们的推荐，根据您自己的项目要求决定最适合您的项目。
本文主要探讨了如何利用Akka实现分布式计算，通过介绍Akka的Actor模型、消息驱动、松耦合和弹性伸缩等特性，以及Actor的代码结构、运行时状态、多播、监控和调试等方面的内容，帮助读者了解如何使用Akka进行分布式编程。同时，本文还介绍了Akka的一些高级特性，如持久化Actor、路由Actor等，并探讨了如何利用这些特性实现基于Akka的Microservice工具库。
上一节描述了如何使用 Actor 路径来启用位置透明（location transparency）。这个特殊的特性需要一些额外的解释，因为在编程语言、平台和技术的上下文中，相关术语“透明远程处理（transparent remoting）”的使用方式非常不同。
ForkJoinPool 是一个功能强大的 Java 类，用于处理计算密集型任务，使用 ForkJoinPool 分解计算密集型任务，并并行执行它们，能够产生更好的性能。它的工作原理是将任务分解成更小的子任务，使用分而治之的策略进行操作，使其能够并发地执行任务，从而提高吞吐量并减少处理时间。
即时响应性是一项决定任何应用程序成败的关键因素。有两种方式来提高即时响应性：1.多线程，并行运行多个任务。2.有策略的计算，惰性运行任务。
要完整去学习spark源码是一件非常不容易的事情，但是咱可以积少成多嘛~那么，Spark Streaming是怎么搞的呢？
很多人一直唠叨着并发中的新概念。然而，许多开发人员还没有机会把过多的注意力都放在上面。在这篇文章中，我们将带您了解Java 8 streams、 Hadoop、 Apache Spark、 Quasar fibers以及响应式编程，让你迅速入门。尤其是如果你不经常用它们的话。一句话，它并不遥远，它就在我们身边。
akka-stream的Graph是一种运算方案，它可能代表某种简单的线性数据流图如：Source/Flow/Sink，也可能是由更基础的流图组合而成相对复杂点的某种复合流图，而这个复合流图本身
昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分，一是kafka环境的搭建，二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息，其他的逻辑部分和上文类似。
在讨论lagom之前，先从遇到的需求开始介绍：现代企业的it系统变得越来越多元化、复杂化了。线上、线下各种系统必须用某种方式集成在一起。从各种it系统的基本共性分析：最明显的特征应该是后台数据库的角色了，起码，大家都需要使用数据。另外，每个系统都可能具备大量实时在线用户、海量数据特性，代表着对数据处理能力有极大的要求，预示系统只有通过分布式处理方式才能有效运行。
通过一段时间的学习了解，加深了一些对Akka的认识，特别是对于Akka在实际编程中的用途方面。我的想法，或者我希望利用Akka来达到的目的是这样的：作为传统方式编程的老兵，我们已经习惯了直线流程
在本章中，我们试图建立一个通用的术语来定义一个坚实的基础，用于交流 Akka 所针对的并发和分布式系统。请注意，对于这些术语中的许多，并没有一个统一的定义。我们试图给出将在 Akka 文档范围内使用的定义。
这种方案是采用MQ作为中间的媒介，在服务端采用线程池异步处理任务，处理完成之后将结果发送到MQ中，客户端采用侦听的方式得到结果继续进行处理。
本文作者知秋，节选自《Java编程方法论：响应式Spring Reactor 3设计与实现》一书。 -------
前面我们全面介绍了在akka-cluster环境下实现的CQRS写端write-side。简单来说就是把发生事件描述作为对象严格按发生时间顺序写入数据库。这些事件对象一般是按照二进制binary方式如blob存入数据库的。cassandra-plugin的表结构如下：
主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当前算子的状态，将状态写入状态后端当中。然后将barrir往下流动，当流动到keyby 或者shuffle算子的时候，例如当一个算子的数据，依赖于多个流的时候，这个时候会有barrir对齐，也就是当所有的barrir都来到这个算子的时候进行制作checkpoint，依次进行流动，当流动到sink算子的时候，并且sink算子也制作完成checkpoint会向jobmanager 报告 checkpoint n 制作完成。
一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚合落hbase，两个子任务接的是同一个Topic GroupId。上游Topic的 tps高峰达到5-6w。
一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚合落hbase，两个子任务接的是同一个Topic GroupId。上游 Topic 的 tps 高峰达到5-6w。
作者 | 罗燕珊 Apache 基金会孵化器近日迎来新成员——Pekko ，但对于部分开发者来说，Pekko 应该不陌生。 事实上，Pekko 是 Akka 项目的一个分支。不久前， Akka 的许可证从 Apache 2 更改为 Business Source License 1.1，Pekko 作为新的分支从中拉出。根据介绍，Pekko 项目提供了一套工具和框架，涵盖了分布式并发系统的复杂问题空间。它旨在支持响应式宣言的设计原则，通过提供组件来有效地在服务器内扩展系统或跨多个服务器横向扩展，是高性能、
KillSwitch是Akka中用于实现多播和流处理的工具。它通过将多个数据流共享一个单一的KillSwitch来控制多个数据流的终止。使用KillSwitch时，多个数据流可以共享一个单一的KillSwitch，并通过调用KillSwitch的shutdown()方法来同时终止所有数据流的执行。此外，KillSwitch还可以通过调用abort()方法来终止数据流的执行，并抛出异常。在Akka中，使用KillSwitch可以有效地管理多个数据流，并确保所有数据流都按照预期执行。
0x00 前言 一般来说有两种策略用来在并发线程中进行通信：共享数据和消息传递。熟悉c和java并发编程的都会比较熟悉共享数据的策略，比如java程序员就会常用到java.util.concurrent包中同步、锁相关的数据结构。 使用共享数据方式的并发编程面临的最大的一个问题就是数据条件竞争（data race）。处理各种锁的问题是让人十分头痛的一件事。 和共享数据方式相比，消息传递机制最大的优点就是不会产生数据竞争状态（data race）。实现消息传递有两种常见的类型：基于channel的消息传递和
Akka是由各种角色和功能的Actor组成的，工作的主要原理是把一项大的计算任务分割成小环节，再按各环节的要求构建相应功能的Actor，然后把各环节的运算托付给相应的Actor去独立完成。Akka
akka-stream的数据流可以由一些组件组合而成。这些组件统称数据流图Graph，它描述了数据流向和处理环节。Source,Flow,Sink是最基础的Graph。用基础Graph又可以组合
通过上一篇文章，我们已经大致了解怎么使用 Akka，期待细致用法。这篇文章将介绍如何用 Akka-testkit 对 Akka 程序进行测试。 并行程序是最难调试的程序类型之一，因此做好测
本文介绍了如何使用 Akka 进行并行编程，包括 Actor 的创建和停止、消息传递、以及基于层次结构的容错机制。通过示例代码，展示了如何在 Akka 中实现并行编程，并总结了 Akka 在并行编程中的优势和适用场景。
👋 你好，我是 Lorin 洛林，一位 Java 后端技术开发者！座右铭：Technology has the power to make the world a better place.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
