学习
实践
活动
专区
工具
TVP
写文章
首页标签实时数仓

#实时数仓

技术分享 | ClickHouse & StarRocks 使用经验分享

爱可生开源社区

本篇分享下个人在实时数仓方向的一些使用经验,主要包含了ClickHouse 和 StarRocks 这两款目前比较流行的实时数仓,文章仅代表个人拙见,有问题欢迎...

14030

腾讯游戏广告流批一体实时湖仓建设实践

可君

腾讯 · 数据工程 (已认证)

腾讯游戏广告业务对数据准确性和实时性均有诉求,因此数据开发团队分别搭建了离线及实时数仓。技术视角下,这是典型的Lambda架构,存在数据口径不一致、开发维护成本...

18940

腾讯云官方课:EMR数仓全套教程重磅首发

腾讯云开发者

这几天把跨年搞的和人生分水岭似的? 2023年的你有什么不一样了吗? 是不是还和去年一样的造型? 新姿(知)势(识),学起来 腾讯云开发者社区带着干货来了 腾讯...

9630

漫谈实时数仓

数据社

数据仓库大家非常熟悉,在1991年出版的“Building the Data Warehouse”,数据仓库之父比尔·恩门首次提出数据仓库的概念,数据仓库是一个...

15940

vivo 实时计算平台建设实践

2020labs小助手

vivo · 技术编辑 (已认证)

vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理...

12230

Flink基于两阶段聚合及Roaringbitmap的实时去重方案

可君

腾讯 · 数据工程 (已认证)

去重是大数据计算中的常见场景,本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合,以及位图(Bitmap)的优化版数据结构——Roaringbi...

18950

基于Flink+Hudi在兴盛优选营销域实时数仓的实践

从大数据到人工智能

什么是流处理?引用Streaming101[1]里面的一句话:一种数据处理引擎,设计时考虑了无限数据集。(为了完整性,这个定义包括真正的流式传输系统(Apach...

9610

Apache Hudi在腾讯的落地与应用

ApacheHudi

Apache Hudi是一个基于数据库内核的流式数据湖平台,支持流式工作负载,事务,并发控制,Schema演进与约束;同时支持Spark/Presto/Trin...

15820

诺亚财富 X Hologres : 统一OLAP分析引擎,全面打造金融数字化分析平台

大数据技术架构

诺亚控股有限公司以“诺亚财富”为品牌,源起于中国,是首家在港美两地上市的中国独立财富管理机构,首家开创了财富管理和资产管理的双轮驱动业务模式,同时也是国内首家获...

9820

“实时数仓”若干问?

用户5548425

确实,如果从一个初学者来说这些技术可能大家听起来会很容易觉得混淆,他们到底是什么样的一些关系?我为大家去简单的梳理一下。

14320

可能是最全的数据仓库全景科普和开发方法论!

腾讯云开发者

点个关注?跟腾讯工程师学技术 导语 | 数据工程要做什么?怎样设计和开发一套好的数仓?一个经历了内容类业务(腾讯视频),面向企业的消费品业务(腾讯优码),社...

13330

别扯数据化转型了,先夯实数据底座吧

数据万有引力

2019-2021 人人都提数据中台,张口就说业务数据化、数据业务化,数据驱动业务,甚至数据重塑业务;如今大家又与时俱进开始侃侃而谈数据化转型。在我们讨论数据化...

26031

字节跳动基于 Apache Hudi 构建实时数仓的实践

从大数据到人工智能

导读:今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和Hudi相关的一些基本技术原理方面社区已有较多的介绍,所以我们今天的分享主要聚焦于...

69240

业内首个基于Iceberg的“云端仓转湖”生产实践探索

腾讯QQ大数据

业务背景 作业帮成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生、老师、家长提供更高效的学习、教育解决方案,智能硬件产...

17210

国产etl工具BeeDI产品 经典功能-数据联邦

用户8383591

数据联邦(跨库合并数据) 功能组件 ,可满足对实际数据集成中不断扩展需求。提供虚拟数据集成服务和企业数据集成的能力。由于在实际数据集成平台中将传统的物理数据集成...

18030

Flink在用户行为分析中的应用(一)

隐约喜欢萌萌哒

传统的企业营销大体是营销人员通过查询画像标签库去圈选人群,这种方案往往无法抓住那些"转瞬即逝的机会"

48700

离线数仓和实时数仓架构与设计

全栈程序员站长

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/142435.html原文链接:https://javaforall.cn

24230

指标体系建设

词不悉心

腾讯 · 数据工程师 (已认证)

通过指标配置,能覆盖客服80%以上的指标需求,剩下的个性化指标,可以通过上传个性化脚本的方式进行计算,在指标系统中统一调度管理

16620

美团基于 Flink 的实时数仓平台建设新进展

从大数据到人工智能

治理模块关注的是实时数仓的数据质量、资源成本,通过建设实时数仓的 DQC 监控,帮助业务发现上游数据或产出数据的异常值/异常波动;通过链路血缘和资源计费,让业务...

19820

快手实时数仓保障体系研发实践

从大数据到人工智能

摘要:本文整理自快手实时计算数据团队技术专家李天朔在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:

12120

扫码关注腾讯云开发者

领取腾讯云代金券