腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
函数式编程语言及工具
专栏成员
举报
283
文章
274862
阅读量
67
订阅数
订阅专栏
申请加入专栏
全部文章(283)
scala(150)
数据库(52)
编程算法(39)
sql(31)
数据处理(31)
http(26)
数据结构(20)
api(18)
其他(16)
rpc(15)
json(14)
mongodb(14)
node.js(13)
分布式(13)
jdbc(11)
kafka(11)
react(7)
nosql(6)
网站(6)
大数据(6)
es(6)
go(5)
云数据库 MongoDB(5)
java(4)
javascript(4)
网络安全(4)
xml(3)
html(3)
android(3)
日志服务(3)
面向对象编程(3)
安全(3)
actor(3)
文件存储(2)
人工智能(2)
存储(2)
开源(2)
缓存(2)
date(2)
event(2)
histogram(2)
keyword(2)
map(2)
match(2)
sequence(2)
机器学习(1)
mac os(1)
c 语言(1)
c++(1)
python(1)
bash(1)
.net(1)
asp.net(1)
jquery(1)
unix(1)
windows server(1)
bash 指令(1)
TDSQL MySQL 版(1)
消息队列 CMQ 版(1)
SSL 证书(1)
图像处理(1)
企业(1)
容器(1)
压力测试(1)
spark(1)
jvm(1)
zookeeper(1)
tcp/ip(1)
socket编程(1)
数据分析(1)
windows(1)
https(1)
系统架构(1)
nest(1)
Elasticsearch Service(1)
action(1)
adt(1)
aggregation(1)
auto(1)
behavior(1)
boost(1)
case(1)
class(1)
command(1)
count(1)
debug(1)
dsl(1)
entity(1)
entitymanager(1)
extends(1)
filter(1)
free(1)
function(1)
int(1)
io(1)
key(1)
list(1)
max(1)
metrics(1)
min(1)
pool(1)
prefix(1)
process(1)
router(1)
row(1)
scalaz(1)
search(1)
sharding(1)
slick(1)
state(1)
string(1)
sum(1)
text(1)
title(1)
union(1)
worker(1)
zip(1)
数据类型(1)
统计(1)
语法(1)
搜索文章
搜索
搜索
关闭
alpakka-kafka(7)-kafka应用案例,消费模式
kafka
node.js
数据库
数据处理
sql
上篇描述的kafka案例是个库存管理平台。是一个公共服务平台,为其它软件模块或第三方软件提供库存状态管理服务。当然,平台管理的目标必须是共享的,即库存是作为公共资源开放的。这个库存管理平台是一个Kafka消费端独立运行的软件。kafka的生产方即平台的服务对象通过kafka生产端producer从四面八方同时、集中将消息写入kafka。库存管理平台在kafka消费端不间断监控kafka里新的未读过的消息并及时读取,解析消息获取发布者对库存管理的指令,然后按指令更新库存状态。
用户1150956
2021-08-19
442
0
alpakka-kafka(6)-kafka应用案例,用户接口
kafka
压力测试
数据处理
了解了kafka原理之后,对kafka的的应用场景有了一些想法。在下面的一系列讨论中把最近一个项目中关于kafka的应用介绍一下。
用户1150956
2021-08-12
495
0
akka-streams - 从应用角度学习:basic stream parts
scala
数据结构
数据处理
实际上很早就写了一系列关于akka-streams的博客。但那个时候纯粹是为了了解akka而去学习的,主要是从了解akka-streams的原理为出发点。因为akka-streams是akka系列工具的基础,如:akka-http, persistence-query等都是基于akka-streams的,其实没有真正把akka-streams用起来。这段时间所遇到的一些需求也是通过集合来解决的。不过,现在所处的环境还是逼迫着去真正了解akka-streams的应用场景。现状是这样的:跨入大数据时代,已经有大量的现代IT系统从传统关系数据库转到分布式数据库(非关系数据库)了。不难想象,这些应用的数据操作编程不说截然不同吧,肯定也会有巨大改变。特别是在传统SQL编程中依赖数据关系的join已经不复存在了,groupby、disctict等操作方法也不是所有的分布式数据库都能支持的。而这些操作在具体的数据呈现和数据处理中又是不可缺少的。当然,有很多需求可以通过集合来满足,但涉及到大数据处理我想最好还是通过流处理来实现,因为流处理stream-processing的其中一项特点就是能够在有限的内存空间里处理无限量的数据。所以流处理应该是分布式数据处理的理想方式了。这是这次写akka-streams的初衷:希望能通过akka-streams来实现分布式数据处理编程。
用户1150956
2020-09-08
1K
0
PICE(6):集群环境里多异类端点gRPC Streaming - Heterogeneous multi-endpoints gRPC streaming
rpc
jdbc
mongodb
go
数据处理
gRPC Streaming的操作对象由服务端和客户端组成。在一个包含了多个不同服务的集群环境中可能需要从一个服务里调用另一个服务端提供的服务。这时调用服务端又成为了提供服务端的客户端了(服务消费端)。那么如果我们用streaming形式来提交服务需求及获取计算结果就是以一个服务端为Source另一个服务端为通过式passthrough Flow的stream运算了。讲详细点就是请求方用需求构建Source,以连接Flow的方式把需求传递给服务提供方。服务提供方在Flow内部对需求进行处理后再把结果返回来,请求方run这个连接的stream应该就可以得到需要的结果了。下面我们就针对以上场景在一个由JDBC,Cassandra,MongoDB几种gRPC服务组成的集群环境里示范在这几个服务之间的stream连接和运算。
用户1150956
2018-09-28
659
0
Akka(41): Http:DBTable-rows streaming - 数据库表行交换
数据处理
数据库
在前面一篇讨论里我们介绍了通过http进行文件的交换。因为文件内容是以一堆bytes来表示的,而http消息的数据部分也是byte类型的,所以我们可以直接用Source[ByteString,_]
用户1150956
2018-01-05
1.5K
0
Akka(27): Stream:Use case-Connecting Slick-dbStream & Scalaz-stream-fs2
数据处理
在以前的博文中我们介绍了Slick,它是一种FRM(Functional Relation Mapper)。有别于ORM,FRM的特点是函数式的语法可以支持灵活的对象组合(Query Compos
用户1150956
2018-01-05
851
0
Akka(17): Stream:数据流基础组件-Source,Flow,Sink简介
编程算法
scala
数据处理
在大数据程序流行的今天,许多程序都面临着共同的难题:程序输入数据趋于无限大,抵达时间又不确定。一般的解决方法是采用回调函数(callback-function)来实现的,但这样的解决方案很容易
用户1150956
2018-01-05
1.6K
0
Akka(14): 持久化模式:PersistentActor
数据处理
Akka程序的特点之一就是高弹性或者强韧性(resilient)的,因为Actor具有自我修复的能力。当Actor模式的程序出现中断情况如:系统崩溃、人为终结等,系统在重启后有关Actor可以
用户1150956
2018-01-05
1.5K
0
Akka(10): 分布式运算:集群-Cluster
数据处理
分布式
Akka-Cluster可以在一部物理机或一组网络连接的服务器上搭建部署。用Akka开发同一版本的分布式程序可以在任何硬件环境中运行,这样我们就可以确定以Akka分布式程序作为标准的编程方式了。
用户1150956
2018-01-05
1.8K
0
Akka(7): FSM:通过状态变化来转换运算行为
数据处理
go
在上篇讨论里我们提到了become/unbecome。由于它们本质上是堆栈操作,所以只能在较少的状态切换下才能保证堆栈操作的协调及维持程序的清晰逻辑。对于比较复杂的程序流程,Akka提供了FSM:
用户1150956
2018-01-05
2.4K
0
Akka(5): ConsistentHashing Router - 可选定Routee的任务分配模式
数据处理
上一篇讨论里我们介绍了几种任务分配(Routing)模式。Akka提供的几种现成智能化Routing模式大多数是通过对用户屏蔽具体的运算Routee选择方式来简化Router使用,提高智能程度
用户1150956
2018-01-05
753
0
FunDA:一个开源的函数式数据处理工具库,也是Slick的补充
数据库
sql
开源
数据处理
FunDA是一个开源的函数式数据处理工具库,是Slick的补充。它增加了recordset数据集逐行处理功能,并支持并行运算。FunDA还使用reactive-streams标准,对大量数据进行后台缓存,然后逐块输出。
用户1150956
2018-01-05
617
0
FunDA(5)- Reactive Streams:Play with Iteratees
数据处理
FunDA的设计目标就是把后台数据库中的数据搬到内存里,然后进行包括并行运算的数据处理,最后可能再对后台数据库进行更新。如果需要把数据搬到内存的话,那我们就必须考虑内存是否能一次性容纳所有的数
用户1150956
2018-01-05
1K
0
FunDA(4)- 数据流内容控制:Stream data element control
scala
数据处理
数据库
上节我们探讨了通过scalaz-stream-fs2来驱动一套数据处理流程,用fs2的Pipe类型来实现对数据流的逐行操作。本篇讨论准备在上节讨论的基础上对数据流的流动和元素操作进行优化完善。
用户1150956
2018-01-05
906
0
FunDA(0)- Functional Data Access accessible to all
数据库
数据处理
sql
大数据
用户1150956
2018-01-05
1.1K
0
FunDA(2)- Streaming Data Operation:流式数据操作
数据处理
在上一集的讨论里我们介绍并实现了强类型返回结果行。使用强类型主要的目的是当我们把后端数据库SQL批次操作搬到内存里转变成数据流式按行操作时能更方便、准确、高效地选定数据字段。在上集讨论示范里我们
用户1150956
2018-01-05
1.3K
0
细谈Slick(5)- 学习体会和将来实际应用的一些想法
sql
数据库
scala
数据处理
通过一段时间的学习和了解以及前面几篇关于Slick的讨论后对Slick这个函数式数据库编程工具有了些具体的了解。回顾我学习Slick的目的,产生了许多想法,觉着应该从实际的工作应用角度把我对Sl
用户1150956
2018-01-05
1.3K
0
Cats(4)- 叠加Free程序运算结果,Stacking monadic result types
数据处理
在前面的几篇关于Free编程的讨论示范中我们均使用了基础类型的运算结果。但在实际应用中因为需要考虑运算中出现异常的情况,常常会需要到更高阶复杂的运算结果类型如Option、Xor等。因为Mona
用户1150956
2018-01-05
2K
0
Scalaz(50)- scalaz-stream: 安全的无穷运算-running infinite stream freely
数据处理
scala
scalaz-stream支持无穷数据流(infinite stream),这本身是它强大的功能之一,试想有多少系统需要通过无穷运算才能得以实现。这是因为外界的输入是不可预料的,对于系统本身就是无穷
用户1150956
2018-01-05
909
0
Scalaz(12)- Monad:再述述flatMap,顺便了解MonadPlus
数据处理
scala
在前面的几篇讨论里我们初步对FP有了些少了解:FP嘛,不就是F[A]吗?也是,FP就是在F[]壳子(context)内对程序的状态进行更改,也就是在F壳子(context)内施用一些函数。再直白一
用户1150956
2018-01-05
919
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档