本篇分享下个人在实时数仓方向的一些使用经验,主要包含了ClickHouse 和 StarRocks 这两款目前比较流行的实时数仓,文章仅代表个人拙见,有问题欢迎...
腾讯 · 数据工程 (已认证)
腾讯游戏广告业务对数据准确性和实时性均有诉求,因此数据开发团队分别搭建了离线及实时数仓。技术视角下,这是典型的Lambda架构,存在数据口径不一致、开发维护成本...
这几天把跨年搞的和人生分水岭似的? 2023年的你有什么不一样了吗? 是不是还和去年一样的造型? 新姿(知)势(识),学起来 腾讯云开发者社区带着干货来了 腾讯...
数据仓库大家非常熟悉,在1991年出版的“Building the Data Warehouse”,数据仓库之父比尔·恩门首次提出数据仓库的概念,数据仓库是一个...
vivo · 技术编辑 (已认证)
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理...
去重是大数据计算中的常见场景,本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合,以及位图(Bitmap)的优化版数据结构——Roaringbi...
什么是流处理?引用Streaming101[1]里面的一句话:一种数据处理引擎,设计时考虑了无限数据集。(为了完整性,这个定义包括真正的流式传输系统(Apach...
Apache Hudi是一个基于数据库内核的流式数据湖平台,支持流式工作负载,事务,并发控制,Schema演进与约束;同时支持Spark/Presto/Trin...
诺亚控股有限公司以“诺亚财富”为品牌,源起于中国,是首家在港美两地上市的中国独立财富管理机构,首家开创了财富管理和资产管理的双轮驱动业务模式,同时也是国内首家获...
确实,如果从一个初学者来说这些技术可能大家听起来会很容易觉得混淆,他们到底是什么样的一些关系?我为大家去简单的梳理一下。
点个关注?跟腾讯工程师学技术 导语 | 数据工程要做什么?怎样设计和开发一套好的数仓?一个经历了内容类业务(腾讯视频),面向企业的消费品业务(腾讯优码),社...
2019-2021 人人都提数据中台,张口就说业务数据化、数据业务化,数据驱动业务,甚至数据重塑业务;如今大家又与时俱进开始侃侃而谈数据化转型。在我们讨论数据化...
导读:今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和Hudi相关的一些基本技术原理方面社区已有较多的介绍,所以我们今天的分享主要聚焦于...
业务背景 作业帮成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生、老师、家长提供更高效的学习、教育解决方案,智能硬件产...
数据联邦(跨库合并数据) 功能组件 ,可满足对实际数据集成中不断扩展需求。提供虚拟数据集成服务和企业数据集成的能力。由于在实际数据集成平台中将传统的物理数据集成...
传统的企业营销大体是营销人员通过查询画像标签库去圈选人群,这种方案往往无法抓住那些"转瞬即逝的机会"
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/142435.html原文链接:https://javaforall.cn
腾讯 · 数据工程师 (已认证)
通过指标配置,能覆盖客服80%以上的指标需求,剩下的个性化指标,可以通过上传个性化脚本的方式进行计算,在指标系统中统一调度管理
治理模块关注的是实时数仓的数据质量、资源成本,通过建设实时数仓的 DQC 监控,帮助业务发现上游数据或产出数据的异常值/异常波动;通过链路血缘和资源计费,让业务...
摘要:本文整理自快手实时计算数据团队技术专家李天朔在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:
扫码关注腾讯云开发者
领取腾讯云代金券