首页
学习
活动
专区
工具
TVP
发布

大数据与实时计算

专栏作者
45
文章
113156
阅读量
40
订阅数
kafka事务:入门篇
Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时,一旦消息被成功提交到日志文件,由于多副本机制的存在,这条消息就不会丢失。
皮皮熊
2022-08-31
8072
【Flink源码实战(一)】给Flink增加一个REST API
Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManager的一部分在运行。默认端口是8081,可以通过flink-conf.yaml的rest.port参数进行配置。
皮皮熊
2021-06-10
3.1K0
kafka0.10.1.0客户端导致0.9Server僵死问题排查
此时客户端发往服务端的请求是处于异常阶段,如果不能快速恢复的话,存在数据丢失的风险。
皮皮熊
2021-05-27
9330
【Flink笔记】kafka-connector消费protobuf格式数据
Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议,可以用于网络通信和数据存储。
皮皮熊
2021-01-05
4K0
【译文】Facebook工程师谈运维工作的未来
Infrastructure, ops, devops, systems engineering, sysadmin, infraops, SRE, platform engineering。对于我这样从事计算机相关工作的人,这些术语实际上是相似的。但假如我想向其他人讲明白我的工作内容时,这些术语会让人一头雾水。
皮皮熊
2020-10-26
8720
关注专栏作者,随时接收最新技术干货
皮皮熊
腾讯高级工程师
kafka客户端指标上报Prometheus方案(已开源)
在我们场景下,需要将海量数据透传到我们的Kafka集群,这时候我们常常会遇到这些问题:
皮皮熊
2020-09-25
3K0
【kafka】高吞吐源码分析-顺序写入与刷盘机制
kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:
皮皮熊
2020-04-03
2.8K0
Flink双流处理:实时对账实现
更多内容详见:https://github.com/pierre94/flink-notes
皮皮熊
2020-03-10
3.8K0
Flink状态编程: 订单超时告警
无状态计算实现的复杂度相对较低,实现起来较容易,但是无法完成提到的比较复杂的业务场景:
皮皮熊
2020-03-03
2.5K1
flink学习笔记
<!--> ![Flink类型分类](./img/introduction-to-type-and-serialization-mechainisms-1.png)-->
皮皮熊
2020-01-10
1.2K0
数据同步工具Flinkx的研究与实践
Flink是新型的计算框架,具有分布式、低延迟、高吞吐和高可靠的特性。其支持多种部署方式:local(单机)、standalone模式,也可以基于yarn,mesos或者k8s做资源调度。Flink提供了比较高级的API,我们能比较方便地扩展现有的API来满足一些特殊需求,此外Flink提供了完整的状态管理体系(checkpoint),可以基于这个机制实现断点续传。
皮皮熊
2019-12-09
6.5K2
基于nacos+ConfigParser实现Python近原生的云配置管理
其实本文是一篇水文,使用一个小的方法快速实现了所谓Python近原生的云配置管理,不会太高深。
皮皮熊
2019-09-25
5K0
《hadoop权威指南》笔记二: hdfs读写过程剖析
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。
皮皮熊
2019-09-07
1.3K0
kafka-producer(数据生产)笔记
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统)。Kafka主要被用于两大类应用:1.在应用间构建实时的数据流通道;2.构建传输或处理数据流的实时流式应用。
皮皮熊
2019-05-13
1.6K0
flume 1.9 版本更新
FLUME-2071 - Flume环境变量不支持float或double的配置值.
皮皮熊
2019-04-29
1.9K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档