zhisheng

LV0
发表了文章

Apache Calcite 功能简析及在 Flink 的应用

• Apache Calcite 是一个动态数据的管理框架,可以用来构建数据库系统的语法解析模块

zhisheng
发表了文章

Flink JVM 内存超限的分析方法总结

前段时间,某客户的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被...

zhisheng
发表了文章

实时离线一体大数据在资产租赁saas服务中使用

基于TB级的在线数据,支持缴费帐单明细在线查询。大家都知道,像银行帐单流水一样,查几年的流水是常有的事。

zhisheng
发表了文章

花了3个月,濒临崩溃的K8S集群有救了……

我司的集群时刻处于崩溃的边缘,通过近三个月的掌握,发现我司的集群不稳定的原因有以下几点:

zhisheng
发表了文章

OLAP 技术选型:对什么进行选型?

上图展现的 impala 技术架构,很直观展示了 OLAP 技术核心模块:数据模型、存储格式与数据处理架构;

zhisheng
发表了文章

基于 ElasticSearch 实现站内全文搜索

来源:blog.csdn.net/weixin_44671737/ article/details/114456257

zhisheng
发表了文章

用了ElasticSearch后,查询起飞了!

最近接触的几个项目都使用到了 Elasticsearch (以下简称 ES ) 来存储数据和对数据进行搜索分析,就对 ES 进行了一些学习。本文整理自我自己的一...

zhisheng
发表了文章

聊聊数据仓库建设

数仓主要是围绕着数据使用方与数据开发方诉求进行建设;因此在开始规划数仓建设时,需要先剖析各方需求、痛点与痒点,然后再在这些诉求设计解决方案与确定建设内容。数据使...

zhisheng
发表了文章

聊聊实时数仓架构设计

首先需要明确什么是实时数仓,百度百科与维基百科都没有给出具体说明,哪究竟什么才是实时数仓呢?是不是可以通过实时流实时获取数据就是实时数仓?或者说流批一体就是实时...

zhisheng
发表了文章

系统架构设计:平滑发布和ABTesting

单位的云办公相关系统没有成熟的平滑发布方案,导致每一次发布都是直接发布,dll文件或配置文件的变更会引起站点的重启。

zhisheng
发表了文章

基于 Flink 的动态欺诈检测系统(下)

在本系列的前两篇文章中,我们描述了如何基于动态更新配置(欺诈检测规则)来实现灵活的数据流分区,以及如何利用 Flink 的 Broadcast 机制在运行时在相...

zhisheng
发表了文章

为了处理日均 TB 级数据量,金山云选择用 Pulsar 实现日志服务

金山云创立于 2012 年,是中国前三的互联网云服务商,2020 年 5 月在美国纳斯达克上市,业务范围遍及全球多个国家和地区。成立 8 年以来,金山云始终坚持...

zhisheng
发表了文章

28张图剖析kafka:简直666,狂拽吊炸天

Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

zhisheng
发表了文章

Flink+Hologres亿级用户实时UV精确去重最佳实践

针对离线计算场景,Hologres基于RoaringBitmap,提供超高基数的UV计算,只需进行一次最细粒度的预聚合计算,也只生成一份最细粒度的预聚合结果表,...

zhisheng
发表了文章

Uber 背后的 PB 级数据治理之路

Uber 通过赋能数十亿打车和快递服务,连接数以百万计的乘客、企业、餐馆、司机和快递员,彻底改变了世界的出行方式。这个庞大的交通平台的核心是大数据和数据科学,它...

zhisheng
发表了文章

万字长文带你了解ETL和数据建模~!

ETL是数据抽取(Extract)、转换(Transform)、加载(Load )的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合...

zhisheng
发表了文章

Debezium-Flink-Hudi:实时流式CDC

Debezium是一个开源的分布式平台,用于捕捉变化数据(change data capture)的场景。它可以捕捉数据库中的事件变化(例如表的增、删、改等),...

zhisheng
发表了文章

一次线上 JVM 调优实践,FullGC 40 次/天到 10 天一次的优化过程

来源 | https://blog.csdn.net/cml_blog/article/details/81057966

zhisheng
发表了文章

记一次性能优化,单台 4 核 8G 机器支撑 5 万 QPS

来源 | https://segmentfault.com/a/1190000018075241

zhisheng
发表了文章

揭秘-滴滴Logi-KafkaManager的用户体验设计

本期我们将会对滴滴Logi—KafkaManager 的生产消费、资源申请、生产/消费示例和监控告警进行详细解释。

zhisheng

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券