腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据与实时计算

专栏作者

45

文章

114577

阅读量

40

订阅数

Flink SQL UDF重复调用问题解决方案

flink sql 实时计算

UDF重复调用的问题在某些情况下可能会对Flink SQL用户造成困扰，例如下面的SQL语句：

2023-05-31

9921

kafka事务:入门篇

消息队列 CKafka 版大数据处理套件 TBDS 大数据大数据解决方案 kafka

Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时，一旦消息被成功提交到日志文件，由于多副本机制的存在，这条消息就不会丢失。

2022-08-31

8202

Netty笔记：直接内存OOM且进程僵死问题排查

jvm linux android java 检测工具

一天自己接手的一个日志透传模块出现大量直接内存OOM的异常日志告警，且不久进程出现僵死，服务不可用。关键错误日志如下：

2022-04-10

3.9K0

【Flink源码实战(一)】给Flink增加一个REST API

流计算 Oceanus 大数据处理套件 TBDS 大数据解决方案大数据

Flink官方实现了大量的REST API接口，有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManager的一部分在运行。默认端口是8081，可以通过flink-conf.yaml的rest.port参数进行配置。

2021-06-10

3.2K0

【Kafka】使用Wireshark抓包分析Kafka通信协议

Wireshark （前身 Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。

图样图森跛

2021-05-27

4.3K0

关注专栏作者，随时接收最新技术干货

腾讯高级工程师

kafka0.10.1.0客户端导致0.9Server僵死问题排查

消息队列 CKafka 版大数据处理套件 TBDS 大数据解决方案大数据

此时客户端发往服务端的请求是处于异常阶段，如果不能快速恢复的话，存在数据丢失的风险。

2021-05-27

9470

kafka消费组信息采集异常(hang住)排查

消息队列 CKafka 版

小组同学在使用kafka官方工具kafka-consumer-groups.sh批量导集群消费组详情时,发现某一个集群基于broker的某些消费组会出现异常，主要表现：

2021-05-08

2.4K0

kafka exporter调研与改进

消息队列 CKafka 版

项目watch、star、fork数量均领先竞品，issue、pull request也比较活跃。

2021-03-01

7.4K5

【Flink笔记】kafka-connector消费protobuf格式数据

大数据处理套件 TBDS 大数据解决方案大数据可视交互系统大数据 java

Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议，可以用于网络通信和数据存储。

2021-01-05

4K0

【译文】Facebook工程师谈运维工作的未来

小程序·云开发数据迁移大数据解决方案数据库解决方案腾讯云学堂

Infrastructure, ops, devops, systems engineering, sysadmin, infraops, SRE, platform engineering。对于我这样从事计算机相关工作的人，这些术语实际上是相似的。但假如我想向其他人讲明白我的工作内容时，这些术语会让人一头雾水。

2020-10-26

8800

kafka客户端指标上报Prometheus方案(已开源)

消息队列 CKafka 版大数据处理套件 TBDS 大数据大数据解决方案

在我们场景下，需要将海量数据透传到我们的Kafka集群，这时候我们常常会遇到这些问题:

2020-09-25

3.1K0

【kafka源码】kafka内部的一些术语

消息队列 CKafka 版

自己阅读kafka源码时的一些记录，更多内容见: https://github.com/pierre94/kafka-notes/blob/master/kafka%E6%9C%AF%E8%AF%AD.md

2020-09-17

5100

Kafka vs Pulsar

消息队列 CMQ 版消息队列 CKafka 版

《Kafka vs. Pulsar vs. RabbitMQ: Performance, Architecture, and Features Compared》https://www.confluent.io/kafka-vs-pulsar/

2020-09-16

1.3K0

kafka-manager对比

消息队列 CKafka 版

主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)

2020-08-20

1.3K0

kafka高版本Client连接0.9Server引发的血案排查

消息队列 CKafka 版

在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警，出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。

2020-07-01

2.6K0

【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查

消息队列 CKafka 版

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

2020-06-02

4.9K0

kafka的86条笔记,全会的肯定是高手

消息队列 CKafka 版

更多内容: https://github.com/pierre94/kafka-notes

2020-06-02

6750

【HBase】HBase迷你版MiniBase学习笔记

大数据处理套件 TBDS hbase 大数据数据库时序数据库 CTSDB

HBase相对复杂，想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华，希望可以通过学习MiniBase以小见大，能够对自己理解HBase这个庞然大物有所帮助。

2020-05-16

1.6K0

【kafka】高吞吐源码分析-顺序写入与刷盘机制

云服务器云点播对象存储数据安全大数据解决方案

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性:

2020-04-03

2.8K0

Flink双流处理:实时对账实现

大数据处理套件 TBDS 大数据解决方案大数据可视交互系统大数据

更多内容详见:https://github.com/pierre94/flink-notes

2020-03-10

3.9K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态