数据社

LV1
发表了文章

数仓现状与解决方案

小 A 糊里糊涂进入一家网约车出现服务公司,负责公司数仓建设,试用期主要一项 KPI 是制定数据仓库建设规划;因此小 A 本着从问题出发为原点,先对公司数仓现状...

数据社
发表了文章

TDH大数据平台的卸载与重装

前段时间写过一篇关于TDH 集群的许可证管理机制及TDH集群的卸载与安装d的博文:

数据社
发表了文章

数仓实战|两步搞定Hive数据加载到Greenplum

如果说Hive是离线数仓的代表,那么Greenplum就是MPP数据库的代表。在离线数仓的年代,以Hive为核心的数据仓库席卷数据仓库市场,几乎成为...

数据社
发表了文章

数仓实战|实时同步Kafka数据到Doris

大家好,我是一哥,Doris成为MPP数据库新贵。Doris起源于百度,致力于满足企业用户的多种数据分析场景,支持多种数据模型(明细表, 聚合表), 多种导入方...

数据社
发表了文章

五万字 | Hive知识体系保姆级教程

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

数据社
发表了文章

去哪儿网数据同步平台技术演进与实践

井显生,2019年加入去哪儿,现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。

数据社
发表了文章

浅谈数据管理的DNA — 元数据

企业架构理论体系中,数据架构始终是企业架构的核心组成部分。TOGAF企业架构框架定义了数据架构位于业务架构与基础技术架构之间,通过数据架构的治理实现的业务和应用...

数据社
发表了文章

候选人被我这些数仓面试题问懵逼了

4). 数仓架构分层:一般分为操作数据层(ODS)、公共维度模型层(CDM)和应用数据层(ADS),其中公共维度模型层包括明细数据层(DWD和汇总数据层(DWS...

数据社
发表了文章

如何建立数据质量中心(DQC)?

日常工作中,数据开发工程师开发上线完一个任务后并不是就可以高枕无忧了,时常会因为上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而这个问题...

数据社
发表了文章

致敬 Apache Sqoop

大家好,我是一哥,昨天看到了过往记忆大佬发了一篇文章,才发现Sqoop这个项目最近不咋好,心里很不是滋味,这个帮助过很多开发者的项目,竟然从Apache顶级项目...

数据社
发表了文章

ETL的灵魂:调度系统

大家好,我是一哥,最近有小伙伴私聊我说他们的调度系统经常出问题,领导要求大家人在哪电脑背到哪,家庭生活一地鸡毛……,其实我也有类似的经历,今天给大家分享一下做调...

数据社
发表了文章

面试官系列:谈谈你对Flume的理解

Flume最早是Cloudera开发的实时日志收集系统,最早的时候Flume的版本称为Flume OG(original generation),随着功能的扩展...

数据社
发表了文章

基于Flink CDC打通数据实时入湖

在构建实时数仓的过程中,如何快速、正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术...

数据社
发表了文章

智慧金融大数据平台总体架构方案

大家好,我是一哥,今天给大家分享一下智慧金融行业的大数据平台总体架构是如何设计的,包括:

数据社
发表了文章

基于 Spark 技术快速构建数仓项目

数据社
发表了文章

一哥闲聊:畅想数据湖

大家好,我是一哥,周末有读者私聊我咨询了一些问题,遂想起了之前看过的一些关于数据湖的知识,下面是基于之前的所见和自己的思考而成文。

数据社
发表了文章

快手超大规模集群调度优化实践

导读:随着公司业务的快速发展,离线计算集群规模和提交的作业量持续增长,如何支撑超大规模集群,如何满足不同场景的调度需求成为必须要解决的问题。基于以上问题,快手大...

数据社
发表了文章

一哥答疑,如何面对繁杂的数据需求?

大家好,我是一哥,最近有一位数据新人小伙伴伴私聊我:在平时的工作中会面临着大量的数据需求,不仅多,而且杂,请问如何处理面对这些问题?有没有什么好的提高工作效率的...

数据社
发表了文章

面试,HBase常见问题(附PPT)

大家好,我是一哥,HBase在大数据技术领域中占据了重要的作用,整理了一些面试问题,大家收藏,文末可以获取PPT。

数据社
发表了文章

干货,实战滴滴开源Logi-KafkaManager

滴滴开源了其Kafka 监控与管控平台 Logi-KafkaManager,因为有30+个集群的维护经验,使用过kafka-manager,kafka-eagl...

数据社

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券