腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

函数式编程语言及工具

专栏作者

283

文章

265802

阅读量

67

订阅数

alpakka-kafka(7)-kafka应用案例，消费模式

kafka node.js 数据库数据处理 sql

上篇描述的kafka案例是个库存管理平台。是一个公共服务平台，为其它软件模块或第三方软件提供库存状态管理服务。当然，平台管理的目标必须是共享的，即库存是作为公共资源开放的。这个库存管理平台是一个Kafka消费端独立运行的软件。kafka的生产方即平台的服务对象通过kafka生产端producer从四面八方同时、集中将消息写入kafka。库存管理平台在kafka消费端不间断监控kafka里新的未读过的消息并及时读取，解析消息获取发布者对库存管理的指令，然后按指令更新库存状态。

2021-08-19

4040

alpakka-kafka(6)-kafka应用案例，用户接口

kafka 压力测试数据处理

了解了kafka原理之后，对kafka的的应用场景有了一些想法。在下面的一系列讨论中把最近一个项目中关于kafka的应用介绍一下。

2021-08-12

4760

akka-streams - 从应用角度学习：basic stream parts

scala 数据结构数据处理

实际上很早就写了一系列关于akka-streams的博客。但那个时候纯粹是为了了解akka而去学习的，主要是从了解akka-streams的原理为出发点。因为akka-streams是akka系列工具的基础，如：akka-http, persistence-query等都是基于akka-streams的，其实没有真正把akka-streams用起来。这段时间所遇到的一些需求也是通过集合来解决的。不过，现在所处的环境还是逼迫着去真正了解akka-streams的应用场景。现状是这样的：跨入大数据时代，已经有大量的现代IT系统从传统关系数据库转到分布式数据库（非关系数据库）了。不难想象，这些应用的数据操作编程不说截然不同吧，肯定也会有巨大改变。特别是在传统SQL编程中依赖数据关系的join已经不复存在了，groupby、disctict等操作方法也不是所有的分布式数据库都能支持的。而这些操作在具体的数据呈现和数据处理中又是不可缺少的。当然，有很多需求可以通过集合来满足，但涉及到大数据处理我想最好还是通过流处理来实现，因为流处理stream-processing的其中一项特点就是能够在有限的内存空间里处理无限量的数据。所以流处理应该是分布式数据处理的理想方式了。这是这次写akka-streams的初衷：希望能通过akka-streams来实现分布式数据处理编程。

2020-09-08

1K0

PICE（6）：集群环境里多异类端点gRPC Streaming - Heterogeneous multi-endpoints gRPC streaming

rpc jdbc mongodb go 数据处理

gRPC Streaming的操作对象由服务端和客户端组成。在一个包含了多个不同服务的集群环境中可能需要从一个服务里调用另一个服务端提供的服务。这时调用服务端又成为了提供服务端的客户端了（服务消费端）。那么如果我们用streaming形式来提交服务需求及获取计算结果就是以一个服务端为Source另一个服务端为通过式passthrough Flow的stream运算了。讲详细点就是请求方用需求构建Source，以连接Flow的方式把需求传递给服务提供方。服务提供方在Flow内部对需求进行处理后再把结果返回来，请求方run这个连接的stream应该就可以得到需要的结果了。下面我们就针对以上场景在一个由JDBC,Cassandra,MongoDB几种gRPC服务组成的集群环境里示范在这几个服务之间的stream连接和运算。

2018-09-28

6420

Akka（41）： Http：DBTable-rows streaming - 数据库表行交换

数据处理数据库

在前面一篇讨论里我们介绍了通过http进行文件的交换。因为文件内容是以一堆bytes来表示的，而http消息的数据部分也是byte类型的，所以我们可以直接用Source[ByteString,_]

2018-01-05

1.5K0

Akka（27）： Stream：Use case-Connecting Slick-dbStream & Scalaz-stream-fs2

在以前的博文中我们介绍了Slick，它是一种FRM（Functional Relation Mapper）。有别于ORM，FRM的特点是函数式的语法可以支持灵活的对象组合（Query Compos

2018-01-05

8100

Akka（17）： Stream：数据流基础组件-Source,Flow,Sink简介

编程算法 scala 数据处理

在大数据程序流行的今天，许多程序都面临着共同的难题：程序输入数据趋于无限大，抵达时间又不确定。一般的解决方法是采用回调函数（callback-function）来实现的，但这样的解决方案很容易

2018-01-05

1.5K0

Akka（14）：持久化模式：PersistentActor

Akka程序的特点之一就是高弹性或者强韧性（resilient）的，因为Actor具有自我修复的能力。当Actor模式的程序出现中断情况如：系统崩溃、人为终结等，系统在重启后有关Actor可以

2018-01-05

1.4K0

Akka（10）：分布式运算：集群-Cluster

数据处理分布式

Akka-Cluster可以在一部物理机或一组网络连接的服务器上搭建部署。用Akka开发同一版本的分布式程序可以在任何硬件环境中运行,这样我们就可以确定以Akka分布式程序作为标准的编程方式了。

2018-01-05

1.7K0

Akka（7）： FSM：通过状态变化来转换运算行为

数据处理 go

在上篇讨论里我们提到了become/unbecome。由于它们本质上是堆栈操作，所以只能在较少的状态切换下才能保证堆栈操作的协调及维持程序的清晰逻辑。对于比较复杂的程序流程，Akka提供了FSM：

2018-01-05

2.3K0

Akka（5）： ConsistentHashing Router - 可选定Routee的任务分配模式

上一篇讨论里我们介绍了几种任务分配（Routing）模式。Akka提供的几种现成智能化Routing模式大多数是通过对用户屏蔽具体的运算Routee选择方式来简化Router使用，提高智能程度

2018-01-05

7190

FunDA：一个开源的函数式数据处理工具库，也是Slick的补充

数据库 sql 开源数据处理

FunDA是一个开源的函数式数据处理工具库，是Slick的补充。它增加了recordset数据集逐行处理功能，并支持并行运算。FunDA还使用reactive-streams标准，对大量数据进行后台缓存，然后逐块输出。

2018-01-05

5910

FunDA（5）－ Reactive Streams：Play with Iteratees

FunDA的设计目标就是把后台数据库中的数据搬到内存里，然后进行包括并行运算的数据处理，最后可能再对后台数据库进行更新。如果需要把数据搬到内存的话，那我们就必须考虑内存是否能一次性容纳所有的数

2018-01-05

9790

FunDA（4）－数据流内容控制：Stream data element control

scala 数据处理数据库

上节我们探讨了通过scalaz-stream-fs2来驱动一套数据处理流程，用fs2的Pipe类型来实现对数据流的逐行操作。本篇讨论准备在上节讨论的基础上对数据流的流动和元素操作进行优化完善。

2018-01-05

8660

FunDA（0）－ Functional Data Access accessible to all

数据库数据处理 sql 大数据

2018-01-05

1K0

FunDA（2）－ Streaming Data Operation：流式数据操作

在上一集的讨论里我们介绍并实现了强类型返回结果行。使用强类型主要的目的是当我们把后端数据库SQL批次操作搬到内存里转变成数据流式按行操作时能更方便、准确、高效地选定数据字段。在上集讨论示范里我们

2018-01-05

1.3K0

细谈Slick（5）－学习体会和将来实际应用的一些想法

sql 数据库 scala 数据处理

通过一段时间的学习和了解以及前面几篇关于Slick的讨论后对Slick这个函数式数据库编程工具有了些具体的了解。回顾我学习Slick的目的，产生了许多想法，觉着应该从实际的工作应用角度把我对Sl

2018-01-05

1.2K0

Cats（4）－叠加Free程序运算结果，Stacking monadic result types

在前面的几篇关于Free编程的讨论示范中我们均使用了基础类型的运算结果。但在实际应用中因为需要考虑运算中出现异常的情况，常常会需要到更高阶复杂的运算结果类型如Option、Xor等。因为Mona

2018-01-05

2K0

Scalaz（50）－ scalaz-stream: 安全的无穷运算－running infinite stream freely

数据处理 scala

scalaz-stream支持无穷数据流（infinite stream），这本身是它强大的功能之一，试想有多少系统需要通过无穷运算才能得以实现。这是因为外界的输入是不可预料的，对于系统本身就是无穷

2018-01-05

8930

Scalaz（12）－ Monad：再述述flatMap，顺便了解MonadPlus

数据处理 scala

在前面的几篇讨论里我们初步对FP有了些少了解：FP嘛，不就是F[A]吗？也是，FP就是在F[]壳子（context）内对程序的状态进行更改，也就是在F壳子（context）内施用一些函数。再直白一

2018-01-05

8920

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态