zhisheng

LV0
发表了文章

如何生成 Flink 作业的交互式火焰图?

Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的DataStream 接口或者标准 SQL 语言来快速...

zhisheng
发表了文章

Redis 6.0 如何实现大幅度的性能提升?

Redis从6.0版本开始引入了Threaded I/O,目的是为了提升执行命令前后的网络I/O性能。本文会先从Redis的主流程开始分析,讲解网络I/O发生在...

zhisheng
发表了文章

Flink 源码:Checkpoint 元数据详解

阅读本文之前,强烈建议阅读《从 KeyGroup 到 Rescale》,本文讲述 KeyedState 恢复时需要用到 KeyGroup 相关知识。

zhisheng
发表了文章

通过BulkLoad快速将海量数据导入到HBase

在第一次建立HBase表的时候,我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到HBase中,或者通过MR方式等。但是这些方式不...

zhisheng
发表了文章

Flink 中的木桶效应:单个 subtask 卡死导致整个任务卡死

工作或者面试中一般都要求面试者有较强的独立解决问题的能力,解决问题的前提是:我们对相应组件的原理非常清楚。本文先讲述原理,再结合实战分析一个线上任务的异常案例。...

zhisheng
发表了文章

Flink状态的缩放(rescale)与键组(Key Group)设计

在之前那篇讲解Flink Timer的文章里,我曾经用三言两语简单解释了Key Group和KeyGroupRange的概念。实际上,Key Group是Fli...

zhisheng
发表了文章

Flink SQL Blink Planner 执行流程解析(上)

大数据领域SQL化的风潮方兴未艾(所谓"Everybody knows SQL"),Flink自然也不能“免俗”。Flink SQL是Flink系统内部最高级别...

zhisheng
发表了文章

ClickHouse在苏宁用户画像场景的实践

zhisheng
发表了文章

字节跳动 ClickHouse 在实时场景中的应用和优化实践

zhisheng
发表了文章

数仓ClickHouse多维分析应用实践

zhisheng
发表了文章

腾讯 ClickHouse 应用实践

zhisheng
发表了文章

利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏

虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB。InfluxDB是一...

zhisheng
发表了文章

Flink 参数配置和常见参数调优

ack 数据源是否需要kafka得到确认。all表示需要收到所有ISR节点的确认信息,1表示只需要收到kafka leader的确认信息,0表示不需要任何确认信...

zhisheng
发表了文章

ClickHouse的核心特性及架构

导读:随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件。能够拥有如此惊人的体量,在它背后...

zhisheng
发表了文章

MySQL 的 Binlog 日志处理工具(Canal/Maxwell/Databus/DTS)对比

canal 由Java开发,分为服务端和客户端,拥有众多的衍生应用,性能稳定,功能强大;canal 需要自己编写客户端来消费canal解析到的数据。

zhisheng
发表了文章

Flink 1.11 日志文件该如何配置?

在 Flink 1.11 之前,Flink 使用的日志是 Log4j,配置文件 log4j.properties 中的内容如下:

zhisheng
发表了文章

ClickHouse 在字节跳动广告场景的应用

分享嘉宾:董一峰,2016年加入字节跳动OLAP团队,一直从事大数据查询引擎的开发和推广工作,先后负责Hive,Spark,Durid,ClickHouse等大...

zhisheng

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券