腾讯云
开发者社区
文档
意见反馈
控制台
首页
学习
活动
专区
工具
TVP
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
返回腾讯云官网
大数据与实时计算
专栏作者
举报
45
文章
97535
阅读量
40
订阅数
订阅专栏
申请加入专栏
全部文章
大数据解决方案
大数据
消息队列 CKafka
大数据处理套件 TBDS
java
https
其他
python
大数据可视交互系统
存储
kafka
云服务器
数据库
github
api
linux
编程算法
网络安全
rpc
网站备案
云点播
对象存储
负载均衡
腾讯云学堂
node.js
android
嵌入式
sql
ide
jar
maven
unix
负载均衡缓存
apache
数据传输服务
时序数据库 CTSDB
消息队列 CMQ 版
检测工具
云联络中心
通用视频解决方案
数据库解决方案
数据安全
分布式
数据迁移
shell
hadoop
jvm
udp
powershell
安全
hbase
flink
流计算 Oceanus
小程序·云开发
管理
实时计算
搜索文章
搜索
搜索
关闭
Flink SQL UDF重复调用问题解决方案
flink
sql
实时计算
UDF重复调用的问题在某些情况下可能会对Flink SQL用户造成困扰,例如下面的SQL语句:
皮皮熊
2023-05-31
522
1
kafka事务:入门篇
消息队列 CKafka
大数据处理套件 TBDS
大数据
大数据解决方案
kafka
Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时,一旦消息被成功提交到日志文件,由于多副本机制的存在,这条消息就不会丢失。
皮皮熊
2022-08-31
599
2
Netty笔记:直接内存OOM且进程僵死问题排查
jvm
linux
android
java
检测工具
一天自己接手的一个日志透传模块出现大量直接内存OOM的异常日志告警,且不久进程出现僵死,服务不可用。关键错误日志如下:
皮皮熊
2022-04-10
2.8K
0
【Flink源码实战(一)】给Flink增加一个REST API
流计算 Oceanus
大数据处理套件 TBDS
大数据解决方案
大数据
Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManager的一部分在运行。默认端口是8081,可以通过flink-conf.yaml的rest.port参数进行配置。
皮皮熊
2021-06-10
2.7K
0
【Kafka】使用Wireshark抓包分析Kafka通信协议
kafka
Wireshark (前身 Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。
图样图森跛
2021-05-27
3.4K
0
关注专栏作者,随时接收最新技术干货
皮皮熊
腾讯高级工程师
关注
用户2862169
关注
用户3060145
关注
用户3062146
关注
kafka0.10.1.0客户端导致0.9Server僵死问题排查
消息队列 CKafka
大数据处理套件 TBDS
大数据解决方案
大数据
此时客户端发往服务端的请求是处于异常阶段,如果不能快速恢复的话,存在数据丢失的风险。
皮皮熊
2021-05-27
671
0
kafka消费组信息采集异常(hang住)排查
消息队列 CKafka
小组同学在使用kafka官方工具kafka-consumer-groups.sh批量导集群消费组详情时,发现某一个集群基于broker的某些消费组会出现异常,主要表现:
皮皮熊
2021-05-08
1.9K
0
kafka exporter调研与改进
消息队列 CKafka
项目watch、star、fork数量均领先竞品,issue、pull request也比较活跃。
皮皮熊
2021-03-01
6.2K
5
【Flink笔记】kafka-connector消费protobuf格式数据
大数据处理套件 TBDS
大数据解决方案
大数据可视交互系统
大数据
java
Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议,可以用于网络通信和数据存储。
皮皮熊
2021-01-05
3.6K
0
【译文】Facebook工程师谈运维工作的未来
小程序·云开发
数据迁移
大数据解决方案
数据库解决方案
腾讯云学堂
Infrastructure, ops, devops, systems engineering, sysadmin, infraops, SRE, platform engineering。对于我这样从事计算机相关工作的人,这些术语实际上是相似的。但假如我想向其他人讲明白我的工作内容时,这些术语会让人一头雾水。
皮皮熊
2020-10-26
790
0
kafka客户端指标上报Prometheus方案(已开源)
消息队列 CKafka
大数据处理套件 TBDS
大数据
大数据解决方案
在我们场景下,需要将海量数据透传到我们的Kafka集群,这时候我们常常会遇到这些问题:
皮皮熊
2020-09-25
2.7K
0
【kafka源码】kafka内部的一些术语
消息队列 CKafka
自己阅读kafka源码时的一些记录,更多内容见: https://github.com/pierre94/kafka-notes/blob/master/kafka%E6%9C%AF%E8%AF%AD.md
皮皮熊
2020-09-17
454
0
Kafka vs Pulsar
消息队列 CMQ 版
消息队列 CKafka
《Kafka vs. Pulsar vs. RabbitMQ: Performance, Architecture, and Features Compared》https://www.confluent.io/kafka-vs-pulsar/
皮皮熊
2020-09-16
1.2K
0
kafka-manager对比
消息队列 CKafka
主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)
皮皮熊
2020-08-20
1.1K
0
kafka高版本Client连接0.9Server引发的血案排查
消息队列 CKafka
在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警,出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。
皮皮熊
2020-07-01
2.4K
0
【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查
消息队列 CKafka
部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。
皮皮熊
2020-06-02
4.5K
0
kafka的86条笔记,全会的肯定是高手
消息队列 CKafka
更多内容: https://github.com/pierre94/kafka-notes
皮皮熊
2020-06-02
556
0
【HBase】HBase迷你版MiniBase学习笔记
大数据处理套件 TBDS
hbase
大数据
数据库
时序数据库 CTSDB
HBase相对复杂,想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华,希望可以通过学习MiniBase以小见大,能够对自己理解HBase这个庞然大物有所帮助。
皮皮熊
2020-05-16
1.4K
0
【kafka】高吞吐源码分析-顺序写入与刷盘机制
云服务器
云点播
对象存储
数据安全
大数据解决方案
kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:
皮皮熊
2020-04-03
2.5K
0
Flink双流处理:实时对账实现
大数据处理套件 TBDS
大数据解决方案
大数据可视交互系统
大数据
更多内容详见:https://github.com/pierre94/flink-notes
皮皮熊
2020-03-10
3.5K
0
点击加载更多
社区活动
玩转 EdgeOne 征文活动来袭!
游戏键盘、耳机、双肩背包等丰厚活动奖品,等你来拿~
立即参与
21天写文挑战,瓜分万元奖池
不限命题,新手友好
点击参与
技术专题有奖征文第一期!
分享数据库知识,瓜分五千元奖池!
立即参与
腾讯云自媒体分享计划
入驻社区,可分享总价值百万资源包
立即入驻
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档