大数据学习与分享

LV1
发表了文章

数据仓库研发规范

在大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发...

大数据学习与分享
发表了文章

从 Spark 做批处理到 Flink 做流批一体

摘要:本⽂由社区志愿者苗文婷整理,内容来源⾃ LinkedIn 大数据高级开发工程师张晨娅在 Flink Forward Asia 2020 分享的《从 Spa...

大数据学习与分享
发表了文章

大厂实时数仓架构图

大数据学习与分享
发表了文章

大数据:简述 Lambda 架构

计算机科学中有一个 CAP 定理,分布式数据存储不可能同时提供以下三个保证中的两个以上。

大数据学习与分享
发表了文章

数据仓库系统的实现和使用

完整的数据仓库系统会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具(OLAP)和商务智能(BI)应用等。

大数据学习与分享
发表了文章

数仓ADS层指标统计案例

ADS层数据往往是最终的结果指标数据,在大屏展示,或者实时流处理时候使用,通过下面两个例子来练习业务大屏展示sql该怎么写。

大数据学习与分享
发表了文章

元数据管理在数据仓库的实践应用

元数据管理是企业数据治理的基础,是数据仓库的提升。作为一名数据人,首要任务就是理解元数据管理。

大数据学习与分享
发表了文章

Flink网络流控及反压机制

首先我们可以看下这张最精简的网络流控的图,Producer 的吞吐率是 2MB/s,Consumer 是 1MB/s,这个时候我们就会发现在网络通信的时候我们的...

大数据学习与分享
发表了文章

数据仓库和数据集市建模体系化总结

数据仓库建模包含了几种数据建模技术,除了ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。

大数据学习与分享
发表了文章

Hive数据存储格式和Hive数据压缩总结

HiveQL语句最终都将转换成为hadoop中的MapReduce job,而MapReduce job可以有对处理的数据进行压缩。

大数据学习与分享
发表了文章

如何获取Yarn和Spark UI界面指标信息

ip和port:Yarn ResourceManager active节点的ip地址和端口号

大数据学习与分享
发表了文章

京东Spark自研Remote Shuffle Service在大促中的应用实践

本文讨论了京东Spark计算引擎研发团队关于自主研发并落地Remote Shuffle Service,助力京东大促场景的探索和实践。近年来,大数据技术在各行各...

大数据学习与分享
发表了文章

一文掌握HBase核心知识以及面试问题

HBase是一个高可靠、高性能、面向列的,主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。

大数据学习与分享
发表了文章

Hive SQL优化思路

在分区剪裁中,当使用外关联时,如果将副表的过滤条件写在Where后面,那么就会先全表关联,之后再过滤。

大数据学习与分享
发表了文章

大数据平台数据治理与建设

大数据学习与分享
发表了文章

数据中台离数据资产价值变现还有多远?

导读:大数据、数据治理、数据湖、数据中台……连绵不绝的数据技术和热词让企业信息化部门疲于跟踪、构建和维护新的数据管理系统。都说“数据是石油”,是企业核心资产之一...

大数据学习与分享
发表了文章

数仓建模 - 维度 vs 关系

数据管理一直在演进,从早期的电子表格、蛛网系统到架构式数据仓库。发展至今以维度建模和关系建模为主,而随着互联网的发展,数据从GB到PB的裱花,企业业务迭代更新亦...

大数据学习与分享
发表了文章

一张图解释清楚大数据技术架构

从这张大数据的整体架构图上看来,大数据的核心层应该是:数据采集层、数据存储与分析层、数据共享层、数据应用层,可能叫法有所不同,本质上的角色都大同小异。

大数据学习与分享
发表了文章

京东OLAP亿级查询高可用实践

OLAP(On-Line Analytical Processing)是联机分析处理,它主要用于支持企业决策和经营管理,是许多报表、商业智能和分析系统的底层支撑...

大数据学习与分享
发表了文章

爱奇艺数据中台建设方案

数据中台更像一种企业架构,是一套结合互联网技术和行业特性,在企业发展的不确定性中,寻找确定性,并且持续沉淀和抽象企业核心能力,最终支持企业快速、高效、低成本进行...

大数据学习与分享

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券