学习
实践
活动
专区
工具
TVP
写文章

大数据DBA:大数据数据库管理做什么

今天我们就来了解一下大数据数据库管理做什么? DBADBA是英文Database Administrator的简称,也就是数据库管理员,主要工作任务是负责维护和管理数据库服务器。 数据库管理员,是需要关注数据,也需要关注库,即需要关注数据与服务,要关心如何操作数据库(程序),从而来保障好数据库DBA需要掌握专业技能如下: 1.DBA应该是一个系统的运维工程师,了解数据库所掌握的操作系统(操作与调优); 2.所负责的数据库项目相关所有的特征,了解性能峰值及业务增长; 3.数据库本身,维护相关的如部署 无论是运维DBA还是研发DBA从本质上都是来解决保障数据库问题,从而支撑项目可落地,可健康运营的目的。 运维DBA比较靠表面一些,运维DBA是施工、调优、监控、更新、备份恢复等从系统的层面来保障业务的,研发型DBA主要从研发及功能与性能设计的角度上,对数据库表、字段、数据、SQL等设计的方向去让产品匹配系统的

13520

数据库管理DBA必知必会的备份恢复(五)

七、还原与恢复 数据库恢复的策略,是使用最近的一次备份来实现数据库的还原,然后使用归档日志和联机日志将数据库恢复到最新或特定状态。 可以基于数据库、表空间、数据文件、控制文件、参数文件进行还原 恢复:在还原的基础上,使用归档日志和联机日志将数据库刷新到最新的 SCN,使数据库保持一致性。 在崩溃恢复中,实例必须首先打开数据库,然后执行恢复操作。 一般而言,在崩溃或关机退出之后第一个打开数据库的实例将自动执行崩溃恢复。 介质恢复 介质恢复通常为响应介质故障并根据用户的命令来执行恢复。 SCN 等 步骤 a.加载数据库 b.还原所有数据文件,同时可以选择还原控制文件 c.将数据库恢复至某个时间点、序列、或系统改变号 d.使用 RESETLOGS 关键字打开数据库 不完全恢复 不完全恢复选项 基于时间的恢复,也称为时点恢复,将数据库恢复到一个指定的时间点 基于表空间时间点恢复,使用户能够将一个或多个表空间恢复至与数据库其余的部分不同的某个时间点。

19020
  • 广告
    关闭

    新年·上云精选

    热卖云产品新年特惠,2核2G轻量应用服务器9元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据库 “吃了” DBA

    提到云数据库第一个想当然的问题不是云数据库本身,而是云数据库来了,DBA 都没饭吃了。 1 上了云,DBA数据库底层,以及高可用渐行渐远,属于被架空了状态,如果干上几年的云数据库DBA,估计连实体机上的高可用是什么东西都不知道了,竞争力直线下降。 让人省心的主,不存在,首先云厂商的数据库五花八门,依照云管理的方式,对开源的数据库进行了“阉割” 和改造,你必须识别出,他们改造了什么,怎么改造的,改造后,那些对你有利,那些对他们有利,你怎么和他们 argue 至于第三个问题,云数据库DBA没发展,那的怎么看,如果云数据库你没有发展,你实体机的DBA 生涯未必多姿多彩,不是云数据库的问题,是你不行的问题,行的放哪都行,不行的镀金也是一滩烂泥。 怎么能行 1 靠近业务,把握业务与数据库之间的关系,DBA 不是运维,DBA 可以变成架构师,当然你首先不能光会一个数据库吧,如果还是抱着ORACLE 的老资格,那你的确就只能是一个“DBA”。

    16220

    数据库管理DBA必知必会的备份恢复(一)

    一、冷备份 数据库在关闭状态下完成所有物理系统文件拷贝的过程,也称脱机备份 适合于非归档模式下,数据库处于一致性状态 二、步骤 首先在运行的库中得到数据库运行的所有的物理文件位置,然后在计划内关闭数据库 (shutdown) 再执行拷贝物理文家到备份路径或备份设备 备份完成后立即启动数据库让其提供正常的服务 三、冷备脚本的写法 首先应该在相关视图里查出数据库的数据文件,日志文件,控制文件,临时文件所在的位置 注意:不要直接把 oradata 下的 cp 就行了,因为生产库里各个文件通常分布在不同的磁盘,不同的地 方,所以在去视图里获得真实路径 --查看实例和数据库的相关信息 SQL> select instance_name 1242732291 ORCL NOARCHIVELOG --查看数据文件及状态信息 SQL> select file_name,tablespace_name,status,online_status from dba_data_files 缺点 备份时,数据库必须处于一致性关闭状态 只能提供到某一时间点的恢复 备份时速度比较慢,尤其是数据量大性能影响比较大 不能实现基于表和用户级别的数据恢复

    14810

    数据库管理DBA必知必会的备份恢复(四)

    关于数据库的日常规划请参考:Oracle 常见故障及日常规划 四、备份与恢复的几类重要数据结构 1.数据文件 2.联机重做日志文件 3.控制文件 4.自动管理的撤销 5.可选的备份文件(参数文件、密码文件 ) 上述有关概念请参考:Oracle 实例和 Oracle 数据库(Oracle 体系结构) 五、常见的备份类型 联机数据库备份 -->使用 archivelog 模式,SCN 不一致 脱机数据库备份 -->使用 noarchivelog 模式,SCN 保持一致 整个数据库 -->可以在不同的时间段来备份,减轻 I/O 压力,从而构建整个数据库表空间 -->在 archivelog 模式下,当处于 noarchivelog 但只有 RMAN 才能实现增量备 3.脱机备份与联机备份 脱机备份:在数据库关闭阶段发生的备份,又称为一致性备份或冷备份。 在一致性关闭数据库后,控制文件 SCN 与数据文件头部 SCN 一致 联机备份:在数据库使用阶段发生的备份,又称为非一致性备份或热备份。

    29010

    打败DBA老炮,机器学习如何改变数据库管理系统

    作者 | Dana Van Aken、Andy Pavlo、Geoff Gordon 编译 | AI100 数据库管理系统(DBMSs)是所有数据密集型应用的最重要组成部分。 为了让每个人,甚至包括那些没有数据库管理相关技术的人,都能轻松地配置DBMS,卡耐基梅隆大学的学生和研究员共同开发的新工具OtterTune,它可以自动为数据库管理系统(简称DBMS)的配置手册找到匹配的设置 之后,我们通过将其最佳配置的性能表现与数据库管理员(DBA)和其他自动调整工具所选择的配置进行比较,来评估OtterTune对MySQL和Postgres的调优效率。 例如,它假设用户具有允许控制器修改DBMS配置的管理权限。如果用户没有这些管理权限,那么他就可以在其它硬件上部署数据库的第二个副本来进行OtterTune的调优实验。 结论 自动化数据库管理系统的调优过程,OtterTune 的最大优势,是不需要生成用于训练机器学习模型的初始数据集,可大大降低调优时间。

    590120

    翻过那座山,就能看见海|kubernetes让DBA更优雅地管理数据库

    DBA了。 : 安装部署复杂,从硬件组装到OS安装到数据库软件的部署 数据库手动管理,易出错 监控、备份脚本化,手动编写、维护、推送脚本。 2.png 在数据库的部署过程中,依赖包、内核参数、用户与组、目录等等一系列前置条件都需要DBA人工或脚本方式进行操作,大量重复性无意义的时间、精力消耗。 11.png 12.png QFusion 3.0 RDS云平台高度的产品化将数据库全生命周期管理工作全部以web形式呈现给用户,轻松速学易上手,极大解放DBA的生产力。 但沃趣科技投入了大量的人力、精力进行数据库容器化的落地工作,数据库专家、Kubernetes与容器技术专家、开发专家通力合作,不仅完成了技术难点的攻克,并以此为基础完成了QFusion 3.0 RDS全生命周期管理云平台的高度产品化

    1.1K80

    DBA日记之Oracle 数据库开发规范

    规范适用性说明 此规范统一针对Oracle数据库,其他数据库如SQL server, MySQL有小部分规范不适用,请自行区别。 此规范适用于研发人员,如果后端研发、数据开发、ETL工程师、DBA 等。 Oracle 数据库开发规范 详细的规范 Select语句中不可以用*,必须select字段列表,以节省内存,提高效率。 在OLTP业务系统中,禁止使用非常规索引,如: 函数索引,位图索引,反向索引,以及聚簇索引等, 遇到特殊情况,联系DBA进行确认。 Oracle数据库中,不允许使用sys和system用户建立数据库应用对象,禁止授权DBA权限给普通用户。 临时批量insert 大数据量时, 联系DBA进行insert临时优化, 减少对线上环境的压力冲击。 尽量少用not exist/not in等否则写法。

    18520

    DBA数据库监控五大指标

    DBA不仅仅是知道如何安装服务器和设置数据库。最重要的职责之一是通过监控实例来识别潜在问题。但应该监控什么,为什么?以下是DevOps,云和数据隐私进入图片的新时代要监控的五大事项。 因此,除了跟踪失败的登录以及sysadmin组中有多少帐户之外,DBA还需要监视SQL注入攻击,服务器和数据库设置的更改以及对权限,用户和角色的修改。 3备份 几乎每个数据库都应定期备份,包括频繁的事务日志备份。除非您有一个工作来默认备份实例上的每个数据库,否则很容易错过添加新数据库。顺便说一句,确保您有一个流程来测试备份文件。 4文件增长 随着时间的推移,数据库文件可能会耗尽可用空间,就像这些文件所在的卷一样。因此,事务必须在数据库文件增长时等待,如果文件中没有更多空间或卷上的空间用完,应用程序将停止运行。 5自动任务 优秀的DBA可以自动执行所有操作,并使用SQL Server代理或其他一些作业调度程序来运行脚本。他们了解工作的内容以及工作失败或长期工作的后果。

    36340

    数据库升级-成为MySQL DBA 博客系列(之二)

    数据库供应商通常每个月都会发布一些有bug /安全性修补程序的补丁,我们为什么要关心这些? 在这篇博文中,我们将介绍DBA的一个最基本的任务—次要版本数据库升级和主要数据库升级。 MySQL升级 有两个MySQL官方版本已经不再关注和修复,是因为是在oracle收购MySQL之前的发行版本。 个人认为一个DBA除了要考虑性能,更多的是考虑稳定,安全。 次要版本升级 小升级相对容易执行—大多数情况下,您只需要使用发行版的软件包管理器来安装新版本即可。 执行升级的推荐方式是转储并重新加载数据—这需要一些时间(取决于数据库的大小),但是在从站不再旋转的情况下执行升级通常是不可行的。 虽然硬件管理可能会非常棘手,但最好不要过多关注构建5.6群集—Galera将使用SST自动填充新节点。 一般来说,这个阶段的目标是建立一个足够处理生产工作量的5.6集群。

    63130

    【干货整理】云数据库时代,DBA将走向何方?

    伴随云计算的迅猛发展,数据库也进入了云时代。云数据库不断涌现,产品越来越成熟和智能,作为数据库管理员的DBA将面临哪些机遇和挑战?又应该具备什么能力,才能应对未来的不确定性? 杨建荣:DBA工作内容可从两个维度回答,第一个维度是从数据库整个工作范围来看,包括运维管理、数据迁移、架构优化三个部分,这三个部分是一个技术迭代的过程,对技能要求逐次递增。 但挑战也意味着机遇,云数据库时代,DBA需要从数据库管理员角色转换为架构师。因为云数据库已经提供了基础运维的功能,DBA需要将重心转移到整个数据库架构层面,跟业务更紧密结合。 杨建荣:云数据库时代,DBA需要提升数据库整体认知,从数据管理层面向架构设计层面演进,具体可以从以下四个方面提升能力: 1.夯实数据库基础知识。 所有产品都是为客户业务服务的,DBA需要结合业务场景不断练就技术内功,比如SQL管理、慢日志管理、索引优化等,才能更好地为业务服务。 Q4:当前数据库行业对人才有哪些诉求?

    8020

    DBA警世录:有些习惯DBA需要养成

    作者:eygle  原文链接: http://www.eygle.com/archives/2007/02/dba_need_some_habit.html ---- 这几天,在帮助一个朋友进行数据恢复 因为这个案例,我想说一下作为一个DBA应该养成的一些基本习惯。 以前曾经写过一篇What Kind Of DBA we need-我们需要什么样的DBA?。 在执行中要操作之前一定要通过hostname命令确认连接主机,这是DBA或者系统管理员应该养成的习惯: [oracle@jumper oracle]$ hostname jumper.hurray.com.cn 所以作为一个DBA,经常性的执行pwd命令来确认自己的工作路径: [oracle@jumper oracle]$ pwd /opt/oracle 3.确认instance_name等数据库中要信息 在执行 truncate/drop等操作之前,应该确认连接到了哪个数据库,从v$database或v$instance等视图中可以获得这些信息(可能需要授权) SQL> select instance_name

    30530

    MongoDB Compass--MongoDB DBA必备的管理工具

    MongoDB Compass是MongoDB官网提供的一个集创建数据库管理集合和文档、运行临时查询、评估和优化查询、性能图表、构建地理查询等功能为一体的MongoDB可视化管理工具。 1 创建MongoDB数据库连接 ? 分别输入相应的host和port,如果没有用户认证,authentication就默认为空。添加完后,点击CONNECT即可连接。 2 创建数据库 连接MongDB数据库后,可以点击create database创建一个数据库。我这里创建了mongo_1数据库的同时也创建collection_1集合。 ? ? 3 集合管理 3.1 插入文档 在collection_1集合的Documents页签下,点击INSERTDOCUMENT插入文档。 ? 这个解释执行计划跟关系型数据库的SQL执行计划,有点类似。 ? 6 索引 在Indexes页签可以为集合创建索引及查看该集合下的索引详细信息。 ?

    2.1K50

    Python与DBA

    这些工具易于使用,因而它们几乎变得无处不在,***到了包括 Oracle Database 在内的其他软件中,Oracle Database 在很大程度上依赖它们执行各种管理任务。 本教程将介绍对数据库管理员尤为有用的一些 Python 特性,无论这些管理员要实现一次性代码段还是完全可重用的程序,这些特性对他们来说都十分有用。 例如,filecmp 模块既能够比较文件又能够比较目录,tempfile 可以轻松地管理临时文件,glob 解析符合 Unix 式模式的文件路径(如在 ora_pmon_*.trc、log_*.xml 与进程通信 os 模块并不仅限于文件管理。还可以用来与系统进程交互和生成系统进程,以及执行系统 kill 和 nice 调用。下表列出了最有用的进程管理函数。 return output similar to: SYSDATE -------------- 02-DEC-11 COUNT(*) -------------- 76147 报告服务 涉及走出数据库的一项最令人头疼的任务是发送警报或推送从数据仓库提取的经常性报告

    37510

    DBA 技能图谱

    很早之前整理了一份DBA 技能图谱,最近有朋友问源文件,正好随着技术迭代,针对技能图谱做了补充。 本文整理的技能主要还是偏运维侧的,随着IT技术的发展,主要是 数据库云化之后,其实对DBA的技术要求变的越来越高,开发技能也是非常重要,比如python,go ,web开发框架 Django,Flask 另外就是对各个云厂商的RDS 的使用,针对(大)规模云数据库管控也是DBA的一项新的挑战。 对于中间件,技术迭代的很快,有些因为公司倒闭,关停,实质上已经不再进行开发维护了。 其实还有分布式数据库TiDB, ClickHouse 等存储类型,也需要我们不断的去学习,了解,扩展公司业务的存储体系。(非广告,选择合适自己业务场景的,解决业务对存储的痛点需求。) ?

    44430

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 数据库

      数据库

      腾讯云数据库(TencentDB)是腾讯提供的高可靠、高可用、可弹性伸缩的云数据库服务产品的总称。可轻松运维主流开源及商业数据库,它更拥有容灾、数据传输服务、安全服务、灾备和智能 DBA 等全套服务。 可提供于电商、金融、游戏、互联网等不同场景完美的解决方案。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券