腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

kk大数据

专栏作者

116

文章

198078

阅读量

42

订阅数

如何理解大数据框架中的分区概念

大数据 kafka spark 存储数据处理

随着科技进步互联网的发展，各行各业产生的数据越来越多，由此催生了大量的数据处理需求。

2023-03-03

6330

浅谈 Flink 的状态和容错（1）

flink 大数据 api 存储

都说 Flink 是有状态计算，那么什么是状态？状态有什么用？没有状态程序会怎么样？

2023-03-03

3660

一文彻底了解元数据管理与架构设计

数据库大数据 sql 存储

数据治理很火，在 DAMA 数据管理知识体系指南中，数据治理位于 “数据管理车轮图” 的正中央，如下图：

2021-12-02

5.9K0

分布式协调框架 Zookeeper 核心设计理解与实战，并实现一个主备切换

zookeeper 微服务分布式存储

想起很久以前在某个客户现场，微服务 B 突然无法调用到微服务 A，为了使服务尽快正常恢复，重启了微服务 B 。

2021-07-30

9200

计算引擎之下，存储之上 - 数据湖初探

数据湖存储 apache spark hive

随着移动互联网，物联网技术的发展，数据的应用逐渐从 BI 报表可视化往机器学习、预测分析等方向发展，即 BI 到 AI 的转变。

2020-12-29

1.5K0

增量计算（生产）与数据湖核心原理

数据湖云计算 python 存储

增量计算就是计算 5 分钟或者 10 分钟的数据，需要数据湖能从上次的地方继续开始消费。

2020-12-29

1.5K0

Hive SQL 语法大全，宇宙最强整理，建议收藏

文件存储数据分析数据库存储 hive

LOCATION 是指定外部表的存储路径，MANAGEDLOCATION 是指定管理表的存储路径（hive 4.0.0 才支持），官方建议默认就行，让所有的表都在一个根目录下。

2020-11-03

4.8K0

大数据快速入门（04）：时代风云变幻，HDFS 仍旧是存储之王

存储大数据存储大数据

大量数据是以文件形式保存的，典型代表是行为日志数据（用户搜索日志、购买日志、点击日志以及机器操作日志等）。

2020-10-23

4280

大数据快速入门系列（01）：大数据时代悄然而至

存储大数据数据分析

遥想我在 2007 年读高中的时候，省吃俭用花了百来块钱买了一个不知名品牌的MP3播放器，容量只有256M。

2020-09-24

2780

实时计算数据架构的演变

数据库 sql 大数据存储微服务

存储层，主要是负责存储企业各种系统产生的数据，如 Web 业务系统、订单系统、CRM 系统，ERP 系统、监控系统，数据比如系统的订单交易量，网站的活跃用户数，每个用户的交易额。

2019-09-19

8600

分布式弹性数据集（上）

存储分布式

传统的 MapReduce 框架之所以运行速度缓慢，很重要的原因就是有向无环图的中间计算结果需要写入硬盘这样的稳定介质中来防止运行结果丢失。

2019-08-14

5570

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态