腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据与实时计算
专栏作者
举报
45
文章
113156
阅读量
40
订阅数
订阅专栏
申请加入专栏
全部文章
大数据解决方案
大数据
消息队列 CKafka 版
大数据处理套件 TBDS
java
https
其他
python
大数据可视交互系统
存储
kafka
云服务器
数据库
github
api
linux
编程算法
网络安全
rpc
ICP备案
云点播
对象存储
负载均衡
腾讯云学堂
node.js
android
嵌入式
sql
ide
jar
maven
unix
负载均衡缓存
apache
数据传输服务
时序数据库 CTSDB
消息队列 CMQ 版
检测工具
云联络中心
通用视频解决方案
数据库解决方案
数据安全
分布式
数据迁移
shell
hadoop
jvm
udp
powershell
安全
hbase
flink
流计算 Oceanus
小程序·云开发
管理
实时计算
搜索文章
搜索
搜索
关闭
kafka事务:入门篇
消息队列 CKafka 版
大数据处理套件 TBDS
大数据
大数据解决方案
kafka
Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时,一旦消息被成功提交到日志文件,由于多副本机制的存在,这条消息就不会丢失。
皮皮熊
2022-08-31
807
2
【Flink源码实战(一)】给Flink增加一个REST API
流计算 Oceanus
大数据处理套件 TBDS
大数据解决方案
大数据
Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManager的一部分在运行。默认端口是8081,可以通过flink-conf.yaml的rest.port参数进行配置。
皮皮熊
2021-06-10
3.1K
0
kafka0.10.1.0客户端导致0.9Server僵死问题排查
消息队列 CKafka 版
大数据处理套件 TBDS
大数据解决方案
大数据
此时客户端发往服务端的请求是处于异常阶段,如果不能快速恢复的话,存在数据丢失的风险。
皮皮熊
2021-05-27
933
0
【Flink笔记】kafka-connector消费protobuf格式数据
大数据处理套件 TBDS
大数据解决方案
大数据可视交互系统
大数据
java
Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议,可以用于网络通信和数据存储。
皮皮熊
2021-01-05
4K
0
【译文】Facebook工程师谈运维工作的未来
小程序·云开发
数据迁移
大数据解决方案
数据库解决方案
腾讯云学堂
Infrastructure, ops, devops, systems engineering, sysadmin, infraops, SRE, platform engineering。对于我这样从事计算机相关工作的人,这些术语实际上是相似的。但假如我想向其他人讲明白我的工作内容时,这些术语会让人一头雾水。
皮皮熊
2020-10-26
872
0
关注专栏作者,随时接收最新技术干货
皮皮熊
腾讯高级工程师
关注
用户2862169
关注
用户3060145
关注
用户3062146
关注
kafka客户端指标上报Prometheus方案(已开源)
消息队列 CKafka 版
大数据处理套件 TBDS
大数据
大数据解决方案
在我们场景下,需要将海量数据透传到我们的Kafka集群,这时候我们常常会遇到这些问题:
皮皮熊
2020-09-25
3K
0
【kafka】高吞吐源码分析-顺序写入与刷盘机制
云服务器
云点播
对象存储
数据安全
大数据解决方案
kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:
皮皮熊
2020-04-03
2.8K
0
Flink双流处理:实时对账实现
大数据处理套件 TBDS
大数据解决方案
大数据可视交互系统
大数据
更多内容详见:https://github.com/pierre94/flink-notes
皮皮熊
2020-03-10
3.8K
0
Flink状态编程: 订单超时告警
大数据处理套件 TBDS
大数据
大数据解决方案
大数据可视交互系统
无状态计算实现的复杂度相对较低,实现起来较容易,但是无法完成提到的比较复杂的业务场景:
皮皮熊
2020-03-03
2.5K
1
flink学习笔记
大数据处理套件 TBDS
大数据
大数据解决方案
<!--> ![Flink类型分类](./img/introduction-to-type-and-serialization-mechainisms-1.png)-->
皮皮熊
2020-01-10
1.2K
0
数据同步工具Flinkx的研究与实践
大数据处理套件 TBDS
大数据解决方案
大数据
Flink是新型的计算框架,具有分布式、低延迟、高吞吐和高可靠的特性。其支持多种部署方式:local(单机)、standalone模式,也可以基于yarn,mesos或者k8s做资源调度。Flink提供了比较高级的API,我们能比较方便地扩展现有的API来满足一些特殊需求,此外Flink提供了完整的状态管理体系(checkpoint),可以基于这个机制实现断点续传。
皮皮熊
2019-12-09
6.5K
2
基于nacos+ConfigParser实现Python近原生的云配置管理
通用视频解决方案
大数据解决方案
其实本文是一篇水文,使用一个小的方法快速实现了所谓Python近原生的云配置管理,不会太高深。
皮皮熊
2019-09-25
5K
0
《hadoop权威指南》笔记二: hdfs读写过程剖析
大数据解决方案
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。
皮皮熊
2019-09-07
1.3K
0
kafka-producer(数据生产)笔记
大数据解决方案
java
数据库
消息队列 CKafka 版
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统)。Kafka主要被用于两大类应用:1.在应用间构建实时的数据流通道;2.构建传输或处理数据流的实时流式应用。
皮皮熊
2019-05-13
1.6K
0
flume 1.9 版本更新
大数据
数据传输服务
大数据解决方案
FLUME-2071 - Flume环境变量不支持float或double的配置值.
皮皮熊
2019-04-29
1.9K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档