大数据与实时计算

43 篇文章
61.2K 次阅读
37 人订阅

全部文章

皮皮熊

腾讯 · 高级工程师 (已认证)

Netty笔记:直接内存OOM且进程僵死问题排查

一天自己接手的一个日志透传模块出现大量直接内存OOM的异常日志告警,且不久进程出现僵死,服务不可用。关键错误日志如下:

34540
皮皮熊

腾讯 · 高级工程师 (已认证)

【Flink源码实战(一)】给Flink增加一个REST API

Flink官方实现了大量的REST API接口,有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManag...

1.3K80
图样图森跛

腾讯 · 大数据运维工程师 (已认证)

【Kafka】使用Wireshark抓包分析Kafka通信协议

Wireshark (前身 Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。

1.5K50
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka0.10.1.0客户端导致0.9Server僵死问题排查

此时客户端发往服务端的请求是处于异常阶段,如果不能快速恢复的话,存在数据丢失的风险。

29340
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka消费组信息采集异常(hang住)排查

小组同学在使用kafka官方工具kafka-consumer-groups.sh批量导集群消费组详情时,发现某一个集群基于broker的某些消费组会出现异常,主...

90870
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka exporter调研与改进

项目watch、star、fork数量均领先竞品,issue、pull request也比较活跃。

2.7K50
皮皮熊

腾讯 · 高级工程师 (已认证)

【Flink笔记】kafka-connector消费protobuf格式数据

Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议,可以用于网络通信和数据存储。

2K10
皮皮熊

腾讯 · 高级工程师 (已认证)

【译文】Facebook工程师谈运维工作的未来

Infrastructure, ops, devops, systems engineering, sysadmin, infraops, SRE, platf...

43531
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka客户端指标上报Prometheus方案(已开源)

在我们场景下,需要将海量数据透传到我们的Kafka集群,这时候我们常常会遇到这些问题:

1.6K31
皮皮熊

腾讯 · 高级工程师 (已认证)

【kafka源码】kafka内部的一些术语

自己阅读kafka源码时的一些记录,更多内容见: https://github.com/pierre94/kafka-notes/blob/master/kaf...

29531
皮皮熊

腾讯 · 高级工程师 (已认证)

Kafka vs Pulsar

《Kafka vs. Pulsar vs. RabbitMQ: Performance, Architecture, and Features Compared...

81831
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka-manager对比

主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)

73592
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka高版本Client连接0.9Server引发的血案排查

在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警,出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。

1.8K1918
皮皮熊

腾讯 · 高级工程师 (已认证)

【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

3.2K31
皮皮熊

腾讯 · 高级工程师 (已认证)

kafka的86条笔记,全会的肯定是高手

更多内容: https://github.com/pierre94/kafka-notes

34732
皮皮熊

腾讯 · 高级工程师 (已认证)

【HBase】HBase迷你版MiniBase学习笔记

HBase相对复杂,想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华,希望可以通过学习MiniBase以小见大,能够对自己理解H...

76530
皮皮熊

腾讯 · 高级工程师 (已认证)

【kafka】高吞吐源码分析-顺序写入与刷盘机制

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:

1.7K52
皮皮熊

腾讯 · 高级工程师 (已认证)

Flink双流处理:实时对账实现

更多内容详见:https://github.com/pierre94/flink-notes

2.5K82
皮皮熊

腾讯 · 高级工程师 (已认证)

Flink状态编程: 订单超时告警

无状态计算实现的复杂度相对较低,实现起来较容易,但是无法完成提到的比较复杂的业务场景:

1.6K123
皮皮熊

腾讯 · 高级工程师 (已认证)

flink学习笔记

![Flink类型分类](./img/introduction-to-type-and-serialization-mechainisms-1.pn...

88941

扫码关注云+社区

领取腾讯云代金券