腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据学习与分享
专注于大数据领域常用技术的学习与分享
专栏成员
举报
170
文章
218988
阅读量
44
订阅数
订阅专栏
申请加入专栏
全部文章(170)
spark(52)
大数据(48)
sql(33)
编程算法(21)
hive(21)
node.js(17)
数据库(17)
腾讯云开发者社区(17)
mapreduce(16)
hadoop(16)
数据(15)
网站(14)
存储(14)
linux(13)
kafka(13)
hbase(12)
TDSQL MySQL 版(10)
企业(9)
缓存(9)
文件存储(8)
分布式(8)
java(7)
jvm(7)
数据分析(7)
数据湖(7)
scala(6)
数据处理(6)
系统(6)
javascript(5)
api(5)
yarn(5)
flink(5)
云数据库 SQL Server(4)
云数据库 Redis(4)
数据安全(4)
数据迁移(4)
hashmap(4)
管理(4)
数据管理(4)
数据挖掘(3)
机器学习(3)
c++(3)
vr 视频解决方案(3)
http(3)
tcp/ip(3)
nest(3)
数据集成(3)
mysql(3)
架构(3)
模型(3)
数据仓库(3)
php(2)
python(2)
bash(2)
html(2)
apache(2)
神经网络(2)
日志服务(2)
日志数据(2)
电商(2)
大数据解决方案(2)
socket编程(2)
数据结构(2)
clickhouse(2)
服务(2)
解决方案(2)
开发(2)
连接(2)
设计(2)
实践(2)
对象存储(1)
servlet(1)
xml(1)
css(1)
jquery(1)
json(1)
android(1)
oracle(1)
jar(1)
tomcat(1)
analyzer(1)
bash 指令(1)
spring(1)
深度学习(1)
大数据处理套件 TBDS(1)
es 2(1)
容器(1)
开源(1)
运维(1)
压力测试(1)
网络安全(1)
jdk(1)
面向对象编程(1)
zookeeper(1)
grep(1)
rpc(1)
安全(1)
windows(1)
架构设计(1)
聚类算法(1)
es(1)
Elasticsearch Service(1)
智能制造(1)
etl(1)
informatica(1)
it(1)
presto(1)
产品(1)
对象(1)
基础(1)
框架(1)
流量(1)
配置(1)
日志(1)
事务(1)
数据中心(1)
同步(1)
统计(1)
性能(1)
主机(1)
数据建模(1)
数据架构(1)
搜索文章
搜索
搜索
关闭
数据编织与数据中台、数据湖、数据治理、DataOps的关系
数据湖
连接
数据
企业
数据集成
【摘要】“数据编织”一词高频出现,似乎已经进入落地阶段,本文介绍了数据编织产生的背景及其定义,详细分析了数据编织与数据中台、数据治理、DataOps的关系,以及未来数据编织发展的方向和需要关注的问题。
大数据学习与分享
2024-07-15
206
0
IT架构图构图模板合集
it
服务
架构
数据
系统
系统架构是概念的体现,是对物/信息的功能与形式元素之间的对应情况所做的分配,是对元素之间的关系以及元素同周边环境之间的关系所做的定义。
大数据学习与分享
2024-06-06
274
0
数据中台知识体系
数据
企业
服务
管理
框架
数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制
大数据学习与分享
2024-05-18
262
0
现代数据技术栈:反向ETL
etl
数据
数据仓库
系统
数据湖
反向 ETL 是将数据从数据仓库或数据湖移回到操作系统、应用程序或其他数据源的过程。“反向 ETL”一词可能看起来令人困惑,因为传统的 ETL(提取、转换、加载)涉及从源系统提取数据、出于分析目的对其进行转换,然后将其加载到数据仓库或数据湖中。
大数据学习与分享
2024-04-24
136
0
深入讲解四种数仓建模理论方法
性能
数据库
模型
设计
数据
数据仓库的建设的最重要的核心核心之一就是数仓模型的设计和构建,这个决定了数仓的复用和性能,本文将介绍四种建模的理论:维度建模、关系建模、Data Vault建模、Anchor模型建模,文后也介绍几种常见的数仓建模工具。
大数据学习与分享
2024-03-27
1K
0
一文掌握ClickHouse
数据
存储
分布式
clickhouse
对象
ClickHouse 是Yandex开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快100-1000 倍。
大数据学习与分享
2024-03-20
3.2K
0
Apache Doris取代ClickHouse、MySQL、Presto和HBase
apache
hbase
clickhouse
mysql
presto
用户从 Lambda 架构入手,将数据管道拆分为批处理链路和流处理链路。对于实时数据流,他们应用 Flink CDC ;对于批量导入,他们结合了 Sqoop、Python 和 DataX 来构建自己的数据集成工具,名为 Hisen。
大数据学习与分享
2024-01-26
1.6K
0
Flink-CDC同步MySQL到Hive实践
hive
flink
mysql
实践
同步
CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
大数据学习与分享
2023-11-30
716
0
元数据管理与数据血缘
管理
开发
数据
数据管理
系统
什么是元数据?元数据MetaData狭义的解释是用来描述数据的数据,广义的来看,除了业务逻辑直接读写处理的那些业务数据,所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。比如数据表格的Schema信息,任务的血缘关系,用户和脚本/任务的权限映射关系信息等等。
大数据学习与分享
2023-11-17
559
0
主数据与数据中台
企业
基础
架构
数据
系统
初次接触数据治理工作的朋友可能都会遇到主数据和数据中台这两个概念,经常有粉丝朋友问我二者有什么区别。
大数据学习与分享
2023-10-25
635
0
数据仓库建设经验总结
管理
模型
数据
数据仓库
数据管理
导读:本案例描述的数据仓库建设问题和解决经验,在企业数仓初期建设时多少都会遇到,对制定数仓初期建设方案有一定的参考意义,推荐收藏。
大数据学习与分享
2023-10-23
441
0
大数据中心建设方案
数据中心
大数据学习与分享
2023-09-18
264
0
Flink exactly-once系列实践之KafkaToKafka
flink
配置
实践
事务
数据
注意事项: 这里使用的是本地FSstateBackend,注意你的路径的设置,以hdfs://或者file://为地址标识符,否则Flink的文件系统将无法识别。
大数据学习与分享
2023-09-18
333
0
信息化和数字化的区别
企业
产品
数据
统计
系统
信息化是对企业已形成的相关信息的记录和各个环节业务的结果与管控;数字化则是让业务和技术真正产生交互,改变传统的商业运作模式。
大数据学习与分享
2023-09-18
236
0
大数据开发流程及规范
大数据
开发
模型
数据
系统
在大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会降低研发效率,增加成本与风险。
大数据学习与分享
2023-09-18
902
0
大数据架构平台架构设计和技术分析
大数据
架构设计
架构
数据
数据架构
本文首先介绍了大数据架构平台的组件架构,让读者了解大数据平台的全貌,然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点,最后是专家眼里大数据平台架构的发展趋势。
大数据学习与分享
2023-09-18
2.1K
0
数据治理体系建设与数据资产规划
企业
数据安全
管理
数据
数据管理
企业需要转变对数据资产价值的认知,在企业运营及管理中建立数据资产价值体系。在数字化业务领域中,需要考虑将数据权属定义至指定的部门及岗位,将数据资产的价值纳入到整体运营及考核中,真正做到将数字资产的价值嵌入到每一个数字化流程。
大数据学习与分享
2023-09-06
931
0
Flink任务提交问题分析和解决
java
apache
flink
连接
日志
最近在提交flink项目example下WordCount.jar批处理任务时遇到以下问题:
大数据学习与分享
2023-09-06
1.3K
0
数据建模-维度建模-维度设计
存储
设计
数据
数据仓库
数据建模
在Kimball维度建模中,通常将度量称为“事实”,将环境描述为“维度”,维度是用于分析事实所需要的多样环境。维度和维度属性是维度的两个核心概念,如何构建维度的属性是维度设计中需要关注的。维度具有层次结构,维度中的一些描述属性以层次方式或一对多方式相互关联。比如商品维度,有卖家、类目、品牌等父层次。对于层次结构,是采用雪花模式进行规范化处理还是将维度的属性层次合并到单个维度中进行反规范化处理,需要进行取舍。
大数据学习与分享
2023-09-06
510
0
Hive静态分区、动态分区、多重分区全解析
hive
大数据
腾讯云开发者社区
现有6份数据文件,分别记录了《王者荣耀》中6种位置的英雄相关信息。现要求通过建立一张表t_all_hero,把6份文件同时映射加载。
大数据学习与分享
2023-02-26
2.3K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档