首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

数据仓库①:数据仓库概述

~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现,因为关系数据库最少也要求满足第1范式,而数据仓库里的关系表可以不满足第1范式。...有了这些数据快照以后,用户便可将其汇总,生成各历史阶段的数据分析报告; 数据仓库组件 数据仓库的核心组件有四个:各源数据库,ETL,数据仓库,前端应用。如下图所示: ? 1....前端应用 和操作型数据库一样,数据仓库通常提供具有直接访问数据仓库功能的前端应用,这些应用也被称为BI(商务智能)应用; 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库",它只包含单个主题...当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时,非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。...数据仓库开发流程 在数据库系列的第五篇 中,曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似,因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程: ?

2.8K71

DBA的前景怎样?

大家好,我是马听,目前有8年DBA工作经验,这一篇文章,来跟大家聊一下,从事DBA岗位是一种怎样的体验? DBA(数据库管理员)是负责管理和维护数据库系统的专业人员。...我们就来聊一下大家对于DBA,常见的一些疑问。 DBA 相对其他程序员相关岗位,有哪些优势呢?...有些公司招DBA,就是只考虑有丰富经验的。 第四点,更容易进大厂,通常设置了DBA岗位的也都是中大型厂,如果我们能从事DBA,那进大厂的概率相对开发更容易一些。...作为DBA需要具备一些基础开发能力的,比如:需要DBA开发一些管理平台或者编写一些自动化脚本之类的。...当然,如果你暂时不认识从事DBA的朋友,就可以考虑学习笔者刚在慕课网上线的《DBA数据库工程师》体系课程(课程链接:https://class.imooc.com/sale/dba),课程包括: 基础部分

45530

DBA的技术方向

DBA这个岗位,怎么说呢。喜欢程度,如果有100分,让我打分的话,我会打90分吧。我个人职业生涯刚开始的时候也走了一些弯路。我觉得选择一个职业还是喜欢比较重要。...作为DBA,加班的时候,一般都是做比较大的变更,整个人,整个团队还是很兴奋。有一种上战场的感觉,感觉整个公司的命脉都在你手上。有一种运筹帷幄、决胜千里的氛围感。...这个方向是一个dba必须要具备的能力。当然这种能力也是慢慢积累的。不是一蹴而就的。 第二,dba当然离不开数据库的选择,大的方向有非关系型、关系型,每个方向下面又分好几种。...如果是在上述描述的传统型公司做dba,可能对web开发能力的需求不高。但是做开源数据库dba,开发能力越来越重要。这也是最近几年说的devops或者SRE。...最后给大家贴一张业内广为流传的dba技能树(如有侵权,麻烦联系我删除,此处引用仅供学习交流之用,本号目前为止没有任何商业活动,纯技术交流)。感谢此图原贡献者(好像是杨奇龙老师)。

68920

DBA职业发展之路

希望对广大DBA,在职业规划、选择上能起到一些参考意义。 / 开篇 / ? 随着近些年来,开源、自动化、云化的兴起,DBA职业也正悄然发生一些变化。...将DBA单词,分解一下。其对应的操作对象—数据,操作介质—库,操作角色—管理员。这里的核心是数据,也是DBA这一角色最大的价值所在。...上图简单罗列了部分工作,对DBA日常繁琐工作可见一斑。正是基于这点,平台化、自动化、云化的诉求,不断被提出。进而间接对DBA的能力提出了更高的要求。 / DBA职能,向上进化 / ?.../ 选择:数据治理、数据仓库 / ? 数据治理,是一项比较"浩大"的工程。随着企业对数据的重视程度越来越高,这一岗位也愈发重要起来。其强调几个关键过程域的活动,提升企业整体数据应用水平。...数据仓库,是一个处于转型中的职位,传统的数仓做法,目前已不适应现代企业要求。但其核心的数据建模理论,还是具有指导意义的。因此各大互联网公司,均有自己颇有特色的数仓实践。

1.9K51

DBA 的那些事

说起DBA,全称是Database Administrator,不是Doctor of Business Administration,千万不要误解,那可是天壤之别!...实则不然,DBA说白了就一修理工。修理啥呢,不是车床机床,也不是修理啥精密仪器,修理的是数据库,仅此而已。DBA这个行业同样也经历了由萌芽,发展到鼎盛的过程。...尤其是近2年海量数据的井喷以及新数据库时代,云数据时代,DBA 2.0时代的兴起。以及最近所谓后DBA时代的说法。说到DBA的工作,我们先得搞清当前几类常用的数据库。...本文主要描述一下传统DBA的那些事,也就是DBA的工作范围与职责,更多的围绕Oracle展开。本文主要从六个方面来简要描述DBA的工作。...因此,如何快速定位并解决这些问题也是衡量一个DBA水平的重要指标。处理这些棘手的问题,需要DBA有大量的知识和经验的积累。

64900

DBA2.0的时代 - DBA将向何处去?

最近接触和参与了很多关于DBA职业生涯发展的讨论,也有很多朋友问过我,DBA将向何处去? 思考了很多,在这里和大家分享一下关于DBA的我的看法。...其实会议起来DBA这个职业从诞生、发展到成熟,其实时间是非常短的,记得2000年左右,DBA的从业人群还非常少,而到现在的2008年,DBA的圈子已经越来越大,甚至传统意义上的DBA已经成熟的需要革新。...上个月,ITPUB论坛和IT168举办了一个全国高校的巡回演讲活动,主题是如何成为一个Oracle DBA,我在北京参与了几次演讲,这个活动已经进一步将DBA这个词引入到了校园内,现在的学生能够接触到DBA...DBA 2.0的时代多少和这个工具有关。...DBA 2.0,说老实话,我的确喜欢这个词!DBA 2.0的时代,要求我们DBA更加优秀!

57210

DBA 职业迷茫何去何从

(顺便说一句,PDF 我怎么发给你) DBA处于迷茫为什么 ?...1   数据库产品整体的技术处于发散性的变化中 2   国情国策对产业的影响,对使用数据库的格局产生了变化 3   DBA的职业容易"稳", 产生温水煮青蛙效应 4   DBA 本身在企业中的地位不是核心..., 属于食物链中低层 整体看DBA在目前大环境下,职业发展为什么迷茫. 1  数据库整体的技术处于发散性的变化中导致的迷茫 纵览10年间的DBA 的工作的变化,感受变化还是很大的,10年前大部分DBA还都在国外商业数据库产品的使用中不能自拔...整体的DBA的知识正处于一个被翻新的时代,所以不能接受新东西的people 很可能就在此时被落下.  ...是不是和当前政策和国情有悖.   3  DBA的职业容易"稳",导致 温水煮青蛙, 而当青蛙觉醒的时候,盖子已经盖上 这点在DBA 这个职业中是尤为严重, 一个企业是不可能经常变换数据库的种类,以及频繁升级数据库的版本

93730

数据仓库】现代数据仓库坏了吗?

数据仓库是现代数据堆栈的基础,所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时,它引起了我们的注意。...我会让您自己决定“不可变数据仓库”(或主动与被动 ETL)是否适合您的数据团队。...不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列,但数据仓库是一个基础组件。...另一种方法:引入不可变数据仓库 不可变数据仓库概念(也称为活动 ETL)认为,仓库应该是通过数据来表示现实世界,而不是乱七八糟的随机查询、损坏的管道和重复信息。...不可变数据仓库也面临挑战。以下是一些可能的解决方案。 我并不认为不可变数据仓库是灵丹妙药。与任何方法一样,它也有其优点和缺点,而且肯定不是每个组织都适用。

1.7K20

你怎么不招聘 DBA

闭眼关灯 (礼尚往来) 怎么,系统不稳定,经常出现故障, 你没有招 DBA 吧 ? 不用,根本不用,DBA 就是一个运维,我们使用云平台就好,干嘛招聘DBA,我们有开发就好,把活都干了。...那么一个稍微正规一点的企业,DBA 的重要的工作就是,管理数据库,管理什么,安全,安全,安全,因为一部分企业的DBA 在上岗前都是要查询是否有刑事犯罪记录的。...3 能独立工作,与程序员不同,一个公司的DBA 和恐龙一样珍贵,你可以看到成千上百的程序员,而DBA 一个公司有10个就算是大厂了,很可能你的公司有一两个像样的DBA 就很不错了,所以独立工作,并且承担太多的压力是...DBA 的工作属性之一。...麻烦招一个正规的DBA 来管管红眼病。

42020

数据仓库

*了解数据仓库相关技术 *了解数据仓库设计过程建造,运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为:分析型数据与操作型数据 操作型数据:由企业的基本业务系统产生的数据...数据仓库的特性:面向主题性,集成性,不可更新和时间性。 集成:数据仓库最重要的特性,分为数据抽取转换,清理(过滤)和装载 不可更新:数据仓库中的数据以批量方式处理,不进行一般主义上的数据更新。...数据仓库的体系结构与环境 从数据层次角度的体系结构来看,典型的数据仓库的数据体系结构包括:操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看,可分为数据处理、数据管理和数据应用三个层次...数据仓库的数据组织 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。...细化程度越高,粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时,应根据当前应用的需求进行多粒度级设计。满足多角度,多层次数据查询要求。

1.8K40

数据仓库②-数据仓库与数据集市建模

前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。...本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市。...数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系",指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为:规范化数据仓库,维度建模数据仓库,独立数据集市。...很多书将它们称为"数据仓库建模方法",但笔者认为数据仓库建模体系更能准确表达意思,请允许我自作主张一次吧:)。下面首先来介绍规范化数据仓库。...数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库,其总体架构如下图所示: ?

5.1K72
领券