首页
学习
活动
专区
工具
TVP
发布

KisFlow-Golang流式计算框架

Keep It Simple Flowing
专栏成员
11
文章
766
阅读量
14
订阅数
Golang框架实战-KisFlow流式计算框架(11)-Prometheus Metrics统计
在介绍本章之前,我们先普及一下Prometheus Metrics的服务启动办法。 有关Prometheus是个什么东东,希望大家可以去额外补充下知识,我用一句大白话来解释就是,系统的监控指标。
刘丹冰Aceld
2024-07-22
130
Golang框架实战-KisFlow流式计算框架(10)-Flow多副本
KisFlow如果在执行流体中,需要被多个Goroutine来并发使用,可能需要同一个配置的创建多个Flow来匹配多个并发的计算流,所以Flow需要一个创建副本的能力。本章将实现这部分的能力。
刘丹冰Aceld
2024-07-19
710
Golang框架实战-KisFlow流式计算框架(9)-Cache/Params 数据缓存与数据参数
KisFlow也提供流式计算中的共享缓存,采用简单的本地缓存供开发者按需使用,有关本地缓存的第三方技术依赖选型: https://github.com/patrickmn/go-cache
刘丹冰Aceld
2024-07-18
700
Golang框架实战-KisFlow流式计算框架(8)-KisFlow Action
KisFlow Action 是指在执行Function的时候,同时可以控制Flow的调度逻辑,KisFlow提供一些Action动作让开发者做选择,本节先介绍最简单的Action动作,Abort(终止当前Flow)。
刘丹冰Aceld
2024-07-18
1140
Golang框架实战-KisFlow流式计算框架(7)-配置导入与导出
现在每次建立Flow和Function等,都需要一系列繁琐的添加,不是很方便,接下来,我们可以通过批量读写配置文件,构建KisFlow中的结构关系,并且也可以将KisFlow的结构导出到本地文件中。目前我们先用文件的形式做配置的持久化,开发者也可以今后做数据库或者远程配置的持久化均可。
刘丹冰Aceld
2024-06-27
750
Golang框架实战-KisFlow流式计算框架(6)-Connector
本章将设计KisFlow的Connector模块,期功能及作用主要为挂载在某个Function下,执行第三方存储引擎的逻辑。
刘丹冰Aceld
2024-06-06
720
Golang框架实战-KisFlow流式实时计算框架(5)-Function调度
现在,将KisFlow提供对外Function开放注册能力,首先我们要定义一些注册函数原型,和管理这些Function的Router映射关系类型。
刘丹冰Aceld
2024-04-25
930
Golang框架实战-KisFlow流式计算框架(4)-数据流
KisFlow中可以传递任意类型数据作为Flow的数据源。而且KisFlow支持批量数据的流逝计算处理。
刘丹冰Aceld
2024-04-23
680
Golang框架实战-KisFlow流式计算框架(3)-项目构建/基础模块-(下)
首先我们要先定义KisFlow的核心结构体,KisFlow结构体,通过上述的设计理念,我们得知,KisFlow表示整个一条数据计算流的结构。其中每次数据在一个Flow上,依次执行挂载在当前Flow的Function。
刘丹冰Aceld
2024-04-19
630
Golang框架实战-KisFlow流式计算框架(2)-项目构建/基础模块-(上)
首先我们创建我们的项目,项目的主文件目录就叫KisFlow,且在Github上创建对应的仓库: https://github.com/aceld/kis-flow 然后将项目代码clone到本地。
刘丹冰Aceld
2024-04-18
810
Golang框架实战-KisFlow流式计算框架(1)-概述
一些大型toB企业级的项目,需要大量的业务数据,多数的数据需要流式实时计算的能力,但是很多公司还不足以承担一个数仓类似,Flink + Hadoop/HBase 等等。 但是业务数据的实时计算需求依然存在,所以大多数的企业依然会让业务工程师来消化这些业务数据计算的工作。
刘丹冰Aceld
2024-03-11
460
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档