木东居士的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

木东居士的专栏

专栏成员

222

文章

424468

阅读量

178

订阅数

OLAP数据库初探

hive spark https 网络安全 sql

OLAP的标准概念叫作“联机分析处理系统”，与之对应的是OLTP“联机事务处理系统”。OLTP对于事务性的要求非常高，常用于银行、证券等系统，但运行速度相对有限。有感于此，关系数据库之父Codd便在1993年提出了OLAP的概念，认为用户的很多决策需要依赖大量的计算与多维的分析才能解决，并作为一类单独的产品，与OLTP区分开来。

2020-07-27

3.1K0

数据百问系列：数据库和数据仓库的区别是什么？

电商 hive oracle 存储数据库

最近群里很多小伙伴都问了数据库和数据仓库的区别是什么，因此将之前写过的文章给大家再分享一遍。

2020-04-21

6330

憋瞎说，大数据不是你想的那样！

sql spark java 大数据 hive

学生党以及很多没设计过大数据开发的小伙伴呢，都对大数据这么一个领域感到非常非常的好奇非常非常的神秘，我今天就非要戳穿给你们看。

2019-09-29

4860

闲聊数据库和数据仓库的区别

数据库 sql hive oracle 存储

直观上理解：相同点是两者都是存储数据。不同点是数据库主要是基本的、日常的事务处理，例如银行交易；数据仓库，支持复杂的分析操作，侧重决策支持。

2019-03-12

1.1K1

闲聊用户画像的存储

hive hbase TDSQL MySQL 版存储大数据

现在的用户画像，动不动就是几千几万个标签，标签一多就出现了一些需要克服的难题，比如下面两个：

2019-02-28

3.6K0

MapReduce 编程模型极简篇

mapreduce hive hadoop

0x00 前言回想自己最初学 Hadoop 的时候，初衷是写MapReduce程序，但是搭建单机环境折腾一周，搭建分布式环境折腾一周，跑个Demo解决一下Bug又一周过去了。最后都忘了自己是想学 MapReduce 的。感觉自己虽然是搞Hadoop的，但是写MR比自己想的要少很多。初期是花了很多精力在安装以及集群的各种日常维护，熟悉Hive后就经常用Hive来解决问题，然后逐渐地各种任务过度到了Spark上，因此对MapReduce的重视就少了很多。细想起来，MapReduce本身是很简洁易学的，因此

2018-05-25

6850

聊一聊数据倾斜那些坑

spark 大数据 hadoop hive sql

0x00 前言数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。迈的过去，将会海阔天空！迈不过去，就要做好准备：很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。文章结构先大致解释一下什么是数据倾斜再根据几个场景来描述一下数据倾斜产生的情况详细分析一下在Hadoop和Spark中产生数据倾斜的原因如何解决（优化）数据倾斜问题？ 0x01 什么是数据倾斜简单的讲，数据倾斜就是我们在计算数据的时候，数据的

2018-05-25

1.1K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态