数据湖分析

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

#数据湖分析

快速构建云端数据湖分析架构，提升数据分析效率和降低成本

图加速数据湖分析-GeaFlow和Apache Hudi集成

ApacheHudi 2023-09-042023-09-04 12:39:33

关系模型自1970年由埃德加·科德提出来以后被广泛应用于数据库和数仓等数据处理系统的数据建模。关系模型以表作为基本的数据结构来定义数据模型，表为二维数据结构，本...

17720

图加速数据湖分析-GeaFlow和Hudi集成

GeaFlow 2023-07-122023-07-12 19:19:53

GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！欢迎给我们 Star 哦! GitHub👉https://githu...

16210

【金猿产品展】镜舟数据库——新一代极速全场景MPP数据库，解决企业数字化转型最后一公里难题

数据猿 2023-03-032023-03-03 17:20:58

当前，镜舟数据库已广泛应用于金融、零售、物流、制造、电商、游戏、其他互联网场景等的行业头部客户，覆盖了实时数仓、OLAP 报表、数据湖分析等场景，助力企业实现多...

48020

中原银行：基于StarRocks构建OLAP全场景架构解决方案，迈入极速统一时代 | 案例研究

爱分析ifenxi 2022-11-162022-11-16 16:19:52

近年来，随着银行业务场景的不断丰富、业务规模的不断扩张，用户线上线下交易大幅上升，数据量与数据种类愈加丰富，大量创新型数据分析和应用场景出现，对分析型数据库的存...

47820

湖仓一体电商项目（二十四）：合并Iceberg小文件

Lansonli 2022-10-272022-10-27 04:25:17

Iceberg表每次commit都会生成一个parquet数据文件，有可能一张Iceberg表对应的数据文件非常多，那么我们通过Java Api 方式对Iceb...

1.7K101

湖仓一体电商项目（二十三）：离线业务统计每天用户商品浏览所获积分

Lansonli 2022-12-142022-12-14 16:37:47

使用Iceberg构建湖仓一体架构进行数据仓库分层，通过Flink操作各层数据同步到Iceberg中做到的离线与实时数据一致，当项目中有一些离线临时性的需求时，...

29040

湖仓一体电商项目（二十二）：实时任务执行流程

Lansonli 2022-10-252022-10-25 00:13:29

这里默认HDFS、Hive、HBase、Kafka环境已经准备，启动maxwell组件监控mysql业务库数据：

320100

湖仓一体电商项目（二十一）：数据发布接口和数据可视化

Lansonli 2022-10-242022-10-24 08:37:34

通过Flink实时把结果数据写入Clickhouse-DM层中后，我们需要编写数据发布接口方便数据使用方调用数据结果进行可视化，数据发布接口项目为SpringB...

30690

湖仓一体电商项目（二十）：业务实现之编写写入DM层业务代码

Lansonli 2022-10-242022-10-24 08:31:18

DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROW...

30550

湖仓一体电商项目（十六）：业务实现之编写写入ODS层业务代码

Lansonli 2022-10-212022-10-21 00:11:25

由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。

396120

湖仓一体电商项目（十五）：实时统计商品及一级种类、二级种类访问排行业务需求和分层设计及流程图

Lansonli 2022-10-202022-10-20 00:24:41

用户登录系统后会浏览商品，浏览日志通过日志采集接口采集到Kafka “KAFKA-USER-LOG-DATA”topic中，每个用户浏览商品的日志信息中都有浏览...

27370

云原生数据湖为什么要选择腾讯云大数据DLC，一份性能分析报告告诉你！

腾讯云大数据 2022-09-092022-09-09 12:10:44

腾讯云云原生数据湖产品 DLC 是引领数据技术趋势的新一代云原生敏捷数据湖分析服务，帮助用户快速实现企业数据湖的存储、治理与分析挖掘，高效释放数据湖无尽数据价值...

1.6K20

1.8万字详解实时数仓建设方案

肉眼品世界 2022-06-152022-06-15 18:37:57

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场...

2.7K20

重新定义OLAP！新型多维分析架构全揭秘！

腾讯云大数据 2022-06-082022-06-08 19:40:44

2022年6月11日，DataFun将举办第二届线上DataFunSummit2022：多维分析架构峰会。本次峰会共设置9大主题论坛，并邀请目前工作在大数据多维...

4.6K10

大厂实时数仓建设项目实例

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

2022-04-182022-04-18 15:16:59

1K40

一个 yyds 方向，薪资大幅度碾压 Java 开发！

崔庆才

微软 · 工程师 (已认证)

2022-03-082022-03-08 17:10:50

数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一...

50020

【数据湖】Azure 数据湖分析（Azure Data Lake Analytics )概述

首席架构师智库

联想 · 顾问架构师 (已认证)

2022-03-082022-03-08 16:41:48

在本文中，我们将探索 Azure 数据湖分析并使用 U-SQL 查询数据。 Azure 数据湖分析 (ADLA) 简介 Microsoft Azure 平台...

94520

20000字详解大厂实时数仓建设（好文收藏）

芋道源码 2022-03-042022-03-04 11:18:09

点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏原创 |...

58320

20000字详解大厂实时数仓建设（好文收藏）

五分钟学大数据 2022-02-122022-02-12 10:12:34

3.6K40

#数据湖分析

图加速数据湖分析-GeaFlow和Apache Hudi集成

图加速数据湖分析-GeaFlow和Hudi集成

【金猿产品展】镜舟数据库——新一代极速全场景MPP数据库，解决企业数字化转型最后一公里难题

中原银行：基于StarRocks构建OLAP全场景架构解决方案，迈入极速统一时代 | 案例研究

湖仓一体电商项目（二十四）：合并Iceberg小文件

湖仓一体电商项目（二十三）：离线业务统计每天用户商品浏览所获积分

湖仓一体电商项目（二十二）：实时任务执行流程

湖仓一体电商项目（二十一）：数据发布接口和数据可视化

湖仓一体电商项目（二十）：业务实现之编写写入DM层业务代码

湖仓一体电商项目（十六）：业务实现之编写写入ODS层业务代码

湖仓一体电商项目（十五）：实时统计商品及一级种类、二级种类访问排行业务需求和分层设计及流程图

云原生数据湖为什么要选择腾讯云大数据DLC，一份性能分析报告告诉你！

1.8万字详解实时数仓建设方案

重新定义OLAP！新型多维分析架构全揭秘！

大厂实时数仓建设项目实例

一个 yyds 方向，薪资大幅度碾压 Java 开发！

【数据湖】Azure 数据湖分析（Azure Data Lake Analytics )概述

20000字详解大厂实时数仓建设（好文收藏）

20000字详解大厂实时数仓建设（好文收藏）

相关产品

热门专栏

Lansonli技术博客

腾讯云大数据

ApacheHudi

Spark学习技巧

流图计算

热门标签

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐