数据编织与数据中台、数据湖、数据治理、DataOps的关系

【摘要】“数据编织”一词高频出现，似乎已经进入落地阶段，本文介绍了数据编织产生的背景及其定义，详细分析了数据编织与数据中台、数据治理、DataOps的关系，以及...

IT架构图构图模板合集

系统架构是概念的体现，是对物/信息的功能与形式元素之间的对应情况所做的分配，是对元素之间的关系以及元素同周边环境之间的关系所做的定义。

数据中台知识体系

数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不...

现代数据技术栈：反向ETL

反向 ETL 是将数据从数据仓库或数据湖移回到操作系统、应用程序或其他数据源的过程。“反向 ETL”一词可能看起来令人困惑，因为传统的 ETL（提取、转换、加载...

深入讲解四种数仓建模理论方法

数据仓库的建设的最重要的核心核心之一就是数仓模型的设计和构建，这个决定了数仓的复用和性能，本文将介绍四种建模的理论：维度建模、关系建模、Data Vault建模...

一文掌握ClickHouse

ClickHouse 是Yandex开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快100-1000 倍。

Apache Doris取代ClickHouse、MySQL、Presto和HBase

用户从 Lambda 架构入手，将数据管道拆分为批处理链路和流处理链路。对于实时数据流，他们应用 Flink CDC ；对于批量导入，他们结合了 Sqoop、P...

Flink-CDC同步MySQL到Hive实践

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDA...

元数据管理与数据血缘

什么是元数据？元数据MetaData狭义的解释是用来描述数据的数据，广义的来看，除了业务逻辑直接读写处理的那些业务数据，所有其它用来维持整个系统运转所需的信息／...

主数据与数据中台

初次接触数据治理工作的朋友可能都会遇到主数据和数据中台这两个概念，经常有粉丝朋友问我二者有什么区别。

数据仓库建设经验总结

导读：本案例描述的数据仓库建设问题和解决经验，在企业数仓初期建设时多少都会遇到，对制定数仓初期建设方案有一定的参考意义，推荐收藏。

大数据中心建设方案

Flink exactly-once系列实践之KafkaToKafka

注意事项： 这里使用的是本地FSstateBackend,注意你的路径的设置，以hdfs://或者file://为地址标识符，否则Flink的文件系统将无法识别...

信息化和数字化的区别

信息化是对企业已形成的相关信息的记录和各个环节业务的结果与管控；数字化则是让业务和技术真正产生交互，改变传统的商业运作模式。

大数据开发流程及规范

在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发...

大数据架构平台架构设计和技术分析

本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台...

数据治理体系建设与数据资产规划

企业需要转变对数据资产价值的认知，在企业运营及管理中建立数据资产价值体系。在数字化业务领域中，需要考虑将数据权属定义至指定的部门及岗位，将数据资产的价值纳入到整...

Flink任务提交问题分析和解决

最近在提交flink项目example下WordCount.jar批处理任务时遇到以下问题：

数据建模-维度建模-维度设计

在Kimball维度建模中，通常将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。维度和维度属性是维度的两个核心概念，如何构建维度的...

Hive静态分区、动态分区、多重分区全解析

现有6份数据文件，分别记录了《王者荣耀》中6种位置的英雄相关信息。现要求通过建立一张表t_all_hero，把6份文件同时映射加载。