大数据技术架构-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术架构

纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构

专栏成员

149

文章

351725

阅读量

96

订阅数

基于networkx的隐性集团关系识别模型

python 数据处理

demo数据采用python中faker进行构造，主要生成关系数据、目标客户数据。

大数据技术架构

2022-12-01

5480

数据湖｜Flink + Iceberg 全场景实时数仓的建设实践

flink 大数据数据处理 sql 数据库

摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。

大数据技术架构

2021-08-25

3.8K0

使用Apache Hudi构建大规模、事务性数据湖

数据处理数据库 sql 数据湖 spark

一个近期由Hudi PMC & Uber Senior Engineering Manager Nishith Agarwal分享的Talk

大数据技术架构

2020-07-02

2.1K0

贝壳找房基于 Flink 的实时平台建设

sql flink 实时数仓云计算数据处理

摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为 Apache Flink 在贝壳找房业务中的应用，分为以下三方面：

大数据技术架构

2020-03-11

1.2K0

史上最详细Kafka原理总结 | 建议收藏

kafka 消息队列 CMQ 版 zookeeper 数据处理

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

大数据技术架构

2019-08-28

3.3K0

Spark vs. Flink -- 核心技术点

spark api 数据处理 windows sql

Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。

大数据技术架构

2019-08-16

1.6K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态