数据库的日常巡检可以说是保障系统稳定运行的基础,虽然不同的运维团队、不同的数据库,都会有适合自己的巡检体系,但是其中很多内容还是可以互相借鉴的。技术社群的这篇文章《Oracle数据库日常巡检指令》给我们提供了Oracle数据库日常巡检指令,虽然只针对Oracle,但是一些巡检的方向还是值得借鉴和学习的。
中移信息平台能力中心数据库团队成员,主要负责 MySQL、TiDB、Redis、clickhouse 等开源数据库的维护工作。
前言 京东物流极速的购物体验背后隐藏着怎样的秘诀?仓储和配送时效是其中最为关键的一环。京东物流超强仓配体系,特别是在电商行业中独有的仓储系统,在其中起到了决定性的作用。 当前京东的库房已经遍布全国,京东仓储管理系统(简称WMS系统)是最核心的生产系统,涵盖了从入库,复核,打包,出库、库存和报表等等环节。 而作为系统最后端的数据库,不仅仅承担着存储数据的任务,还是系统可用性的最后一道防线,如何保证仓储系统数据库的高性能和高可用,直接决定了库房生产是否能顺畅进行。 在本篇我们将会详细介绍京东物流仓储系统的数据
一 基础安全设备包含哪些? 下图是一个典型的企业业务网络架构包含常见的安全设备。 📷 基础安全设备包含构造业务安全防御系统的常用安全设备,能够搭建深度防御体系的各种安全设备、安全软件。大型的互联网结构不太一样,主要为数据流量很大,传统安全厂家的设备很难满足需求,攻击检测和防护会自己开发,本文还是以传统业务网络为主。传统业务网络包含的安全设备一般有以下几种: 1.1 检测告警类 网络入侵检测 用于检测网络入侵事件,常见部署在核心交换上,用于收集核心交换机的镜像流量,通过检测攻击特征形
在安装、部署Oracle数据库软件时,需要根据不同应用结构(即硬件平台、操作系统平台)采用不同的方法(基本安装、高级安装),下面介绍几种常见的应用结构。
初期阶段IT基础设施通常处在小规模状态。几台至几十台机器的规模,足以满足业务需求。很多公司都不一定配有专门的运维人员或者部门,业务开发人员完成自己业务工作的同时,也一并完成所负责管理相关业务的设备。随着云时代到来了,IT基础设施迅速发展成几百上千服务器。更多的业务系统上线,业务人员也无暇再顾及运维工作。此时,运维人员开始专业化,独立成部门。各类孤岛式的运维管理工具上线,提升运维效率。
这一年,蓝鲸平台从自动化运维平台,重新定义为研发运营一体化平台,实现了CI、CD、CO的IT管理全生命周期的打通。
主机巡检脚本:OSWatcher.sh Oracle巡检脚本:ORAWatcher.sh
系统的运作会需要计算器服务主机的支持,为了使用更加方便,多数都是会选择云服务器主机,但是不同的使用途径需求的配置不一样,如果是普通的网站对配置相对较低,只需要满足日常的数据上传和访问即可,但购物类的平台相对要考虑到特别是大促活动的时候大量的点击率和交易所带来的数据计算需求,会在配置要求上高一些,但如果是大数据库的话,自然配置会更高一些,那么如何选购数据库服务器呢,需要了解运行的核心数据。
“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:
有赞作为"新零售"的软件服务供应商,随着业务的不断发展,从第一批几十家商户到现在300万商家,涉及零售,美业,餐饮,自媒体等众多商家,业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和DB实例的数据量出现成倍增加。各种业务需求:快速交付实例,慢查询优化以及备份恢复管理等都给DBA的日常运维支持带来更高的要求。另一方面最开始以excel作为CMDB管理数据库实例的纯人肉运维又给高效的数据库运维带来阻碍。
工业安全先驱H.W.海因里希(Herbert William Heinrich)在1930年代提出的关于工作场所事故和非致命伤害之间关系的理论。海因里希在其著作中提出,大约有88%的事故是由人的不安全行为引起的,10%是由不安全的机械或物理条件引起的,而余下的2%是不可避免的“Acts of God”。
应用服务器指通过各种协议把商业逻辑提供给客户端的程序。它提供了访问商业逻辑的途径以供客户端应用程序使用,应用服务器使用此商业逻辑就像调用对象的一个方法一样。
在大数据快速发展的大背景下,大数据相关的岗位需求也在增多,并且随着大数据业务的扩展,大数据技术团队的工作,也开始走向岗位细分,比如说在大数据储存阶段,也有专门的大数据DBA岗位。今天我们就来了解一下大数据数据库管理做什么?
本文通过XXX高速公路收费系统(以下简称收费系统),来论述分布式数据库的设计与实现。收费系统是我公司近年来接的较为大型的项目,管理结构为三层结构:公司级、收费中心级、收费站级,各级之间即可独立的完成自身业务,又有自上而下的管理关系。收费中心、收费站均为三层C/S结构,公司级采取B/S结构。该系统的数据库也按照三层来设计,收费站存放本站的所有流水数据,收费中心存放所有数据,公司本部存放查询用汇总数据,收费站与收费中心使用事务复制来同歩数据,而收费中心与公司本部使用快照复制来同歩数据,并且使用分级的方法来测试收费站、收费中心与公司本部之间的数据同歩。 在本项目的开发过程中,我担任了数据库的设计工作。
在日常运维的某个系统下,由于之前数据库主机所用硬盘是传统机械硬盘,容量小,传输速度低,并且数据库服务器整体性能不高。随着业务访问量的增加,现有数据库服务器无法满足需求,所以需要搭建一套高性能的数据库服务器,并且所用硬盘是 SSD。
2018年12月,经过嘉维蓝鲸项目组近半年的努力奋战,太平集团成功上线了蓝鲸研发运营一体化平台,实现了IT运维全流程标准化和调度自动化,并取得了如下收益:
在我们日常的测试工作中,不可避免的要对mysql的性能进行测试,对于大部分测试人员而言,工具的选择可能就是第一道门槛。
如果您的系统依赖PostgreSQL数据库并且您正在寻找HA的集群解决方案,我们希望提前告知您这是一项复杂的任务,但并非不可能实现。
应用程序自动规模伸缩以适应负载需求确实非常理想,但其中也蕴含着严重的复杂性与潜在风险。 不管大家有没有听说过,最近几年市场上出现了一类极具吸引力的新方案——也就是云服务器。虽然这个名称本身并没有实际意
7月28日,腾讯技术工程运维技术沙龙-深圳站在腾讯大厦2楼多功能厅举行。现场集结了数十家知名企业的技术开发和运维小伙伴,通过5个小时的思维碰撞,运维人员和导师们一起打造了一场运维人的知识盛宴。 这次,
MySQL是当今最通用的数据库软件之一,也是大部分人接触最多,时间最长的数据库软件之一。深入了解MySQL的架构和设计对于DBA,研发和运维都非常重要,能够帮助我们在日常工作中更好地理解和运用MySQL。
在国际化应用中,对日期/时间的处理远比你想象中的更难,特别是当涉及到时区的时候。为什么会这么难?我们该如何解决它?请听我为你一一解析。几乎所有的系统都离不开“时间”的概念,以至于大多数语言(及其默认库)都定义了日期/时间等类型。但是,我们日常所说的“时间”这个词实际上包含了多个相似却有微妙差异的概念。如果不能分清它们,会给你的开发工作带来很多烦恼。
来,我作为前网易游戏从业人员来说说真正服务器维护时候在做什么。 服务器维护分成两种,紧急维护和日常维护。 紧急维护一般就是硬件故障或者严重 Bug。这个时候是各个团队最紧张的时候。每个团队都忙个不停。 运营团队会发布公告,安慰玩家,统计损失,编写故障报告,评定故障等级等等 策划团队可能会考虑 Bug 的影响程度,决定要不要回档,或者赔偿什么,赔偿会不会影响经济系统等等。 程序团队最重要的是缩小 Bug 的影响,比如热更新屏蔽玩法,然后解决 Bug。有时候硬件故障会导致整个服务器某些结点负载不均衡,或者万一数
默认情况下,MongoDB 更侧重高数据写入性能,而非事务安全,MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB,除非能从架构设计上保证事务安全。
首先是渗透接口测试:在安全工程师角度看这就是1个十分好的知识要点积累的方式,不仅有利于你现在每次的网站渗透测试中不遗漏掉某一点,而且还能够在队伍里面开展分享有利于提高队伍里面队员的技术。我们SINE安全在针对甲方的网站渗透测试来说,在刚开始情况下和客户沟通许多有关事项是十分用得着的:第2个是常用工具:磨刀不误砍柴工,工欲善其事,有个好的常用工具影响大家在网站渗透测试时的工作效率。1个好的常用工具应当包含,不同服务器系统(windows2008,windows2012,linux centos);各式各样条件与基本软件(PHP、python、Rose、vus、数据库服务器服务端、SSH链接服务端这些.
MySQL这么多章节了,前前后后20多篇了,我看了下自己本地的目录,已经可以说是很全了,但是有一点我发现很关键但是我还没提过,那就是安全。
如图,假设我们申请了4台数据库服务器,每台上面部署了8个数据库,每个数据库对于每张表分了32张表
长期以来,铁路运输在我国运输业中占据着举足轻重的地位。而铁路突发性意外事故频发,反映出我国列车设备日常检修、调车作业的执行、巡检人员作业情况等方面仍存在严重弊端。
SAP系统安装完毕后试用期到期后会无法登录,安装完需要尽快申请license并导入系统。
当前,随着电商节日的增多(6.18、双十一、双十二)、平台拉新趋于频繁,大促活动也越来越普遍。作为一个电商平台,每年都会有一次,甚至几次的流量“大考”。数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个大的挑战。电商大促,这场没有硝烟的战争很多人已有体会,在此不再赘述。现在,我们直接切入主题--数据库如何 积极应对,全力保障 大促活动。这个题目分解为三个部分进行讲解: 第一部分,准备工作;第二部分,大促进行时;第三部分,大促后复盘。
1.请求数量较高,大量的请求过来之后都需要去从缓存中获取数据,但是缓存中又没有,此时从数据库中查找数据然后将数据再存入缓存,造成了短期内对redis的高强度操作从而导致问题
在MySQL中,主从架构应该是最基础、最常用的一种架构了。后续的读写分离、多活高可用架构等大多都依赖于主从复制。主从复制也是我们学习MySQL过程中必不可少的一部分,关于主从复制的文章有很多,笔者也来凑凑热闹,写写这方面的内容吧,同时分享下自己的经验和方法。
松哥原创的 Spring Boot 视频教程已经杀青,感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
基于蓝鲸平台强大的应用对接和调度能力,集成主流的模拟仿真测试框架Selenium,将各业务应用或管理系统有机集成起来(ESB注册),利用定制化APP实现数据的分析和转换,从而实现应用功能自动化拨测。
高可用性HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。
上一篇整理了运维组织的“2.1 组织专业化”,在细化横向的专业化分工之前,本章先看看“运维底线保障能力”(由于本人主要工作经验在应用运维与自动化,相关内容以应用运维为主),主要的部份内容是基于公众号另一篇《回归一线应用运维的底线——先做好最基本的事》之上做扩展。下一篇计划是“2.3 可用性保障能力”
https://www.bilibili.com/video/av22207039/
读写 分离(Read/Write Splitting)。 1.原理:让主数据库(master)处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库(slave)处理SELECT查询操作。 2.诞生原因: 2.1 为了确保数据库产品的稳定性,很多数据库拥有双机热备功能。也就是,第一台数据库服务器,是对外提供增删改查业务的生产服务器;第二台数据库服务器,仅仅接收来自第一台服务器的备份数据(注意,不同数据库产品,第一台数据库服务器,向第二台数据库服务器发送备份数据的方式不同)。当第一台
大家好,又见面了,我是你们的朋友全栈君。任何数据库在长期使用过程中,都会存在安全隐患。对于数据库管理员来说不能仅寄希望于计算机操作系统的安全运行,而是要建立一整套的数据库备份与恢复机制。当任何人为的或是自然的灾难一旦出现,而导致数据库崩溃、物理介质损坏等,就可以及时恢复系统中重要的数据,不影响整个单位业务的运作。然而如果没有可靠的备份数据和恢复机制,就会带来系统瘫痪、工作停滞、经济损失等等不堪设想的后果。本文以ORACLE数据库为例,结合医院的业务应用环境,介绍 ORACLE数据库的备份恢复。 首先,应当制定一个严格的工作制度,规范化数据库维护的工作流程。 总结实际工作中的经验,数据库管理员应当按照以下原则进行数据库系统的维护: 要求:每日值班的数据库管理员应当随时监控主数据库服务器、备份数据库服务器的软件、硬件的正常运行,一旦出现故障,应立即向领导汇报并采取相应恢复措施。 一、管理员应当每日察看数据库的冷备份报告,出现问题及时检查备份文件,保障每日数据库服务器的备份正常运行。 二、当主数据库服务器出现数据库错误时,应检查数据库的工作状态。如果工作不正常应及时将最新的备份数据覆盖当前数据库的损坏数据,并重新启动机器,检验数据库系统是否能够自行恢复运行。如果重新启动后数据库系统不能正常运行,则数据库系统文件被破坏,应重新安装ORACLE数据库并启用紧急恢复方案。 三、当主数据库服务器出现硬件故障时,应在1小时内更新备份数据库为最新数据,并启动备份数据库服务器,将备份数据库服务器升级为主数据库服务器。对于损坏的主数据库服务器应重新安装ORACLE数据库,并启用紧急恢复方案。 四、当备份数据库服务器出现数据库错误时,应检查ORACLE数据库的工作状态,如果工作不正常应及时将最新的备份数据覆盖当前数据库的损坏数据,并重新启动机器,检验数据库系统是否能够自行恢复运行。如果重新启动后数据库系统不能正常运行,则数据库系统文件被破坏,应重新安装ORACLE数据库并启用紧急恢复方案。如果ORACLE工作不正常,应重新安装ORACLE数据库并启用紧急恢复方案。 五、当备份数据库服务器出现硬件故障时,应尽快修复。等待硬件正常工作后,首先重新安装ORACLE数据库,并采用紧急恢复方案恢复ORACLE数据库。 六、每周至少三次将备份数据转移到移动磁盘内,以防止出现自然灾害的事故而导致的备份数据丢失。 1.ORACLE数据库系统的安装 首次安装ORACLE7.3数据库。进入安装光盘的NT_x86目录,运行setup.exe,进行安装。选择安装目录:D:ORANT(在本文中以将ORACLE数据库安装到D盘为例,下不累述。) 选择安装模式:oracle7 server product 选中:oracle7 con text option 2.0.4.0.0oracle7 spatail data option 7.3.3.0.0. 选择标准安装模式。配置数据库:在net easy config中添加本地数据库的别名、ip地址。修改注册表的字符集为us7ascii(根据需要)。用internal帐户启动当前数据库,验证当前数据库已正确安装。Shutdown当前数据库。设置数据库为ARCHIVELOG方式: 1)将系统设置成自动归档写满的联机日志文件,修改参数文件D:ORANTDatabaseINITORACL.ORA文件,设置:
这个牛轰轰的神器是布隆这位大牛在 1970 年发明的,是一个二进制向量数据结构,当时专门解决数据查询问题。可以用来告诉你 某样东西一定不存在或者可能存在。
经过前几章的介绍,我们已经了解了什么是Oracle数据库以及其安装方法,那么本章节,将和大家说说如何使用SQL * plus和SQL Developer 工具连接到Oracle数据库服务器。
最近系统(基于SpringCloud+K8s)上线,运维团队早上8点左右在群里反馈,系统登录无反应!我的第一反应是Mysql数据库扛不住了。
保险行业升级测试工作较多,此为行业背景。从客户甲了解到,他所在的DBA团队一方面要承担数据库日常维护工作,另一方面也要为业务部门提供测试数据库。除去生产环境的日常维护,以下几项工作耗费较多精力:
Navicat Premium 16 Mac一款易于使用的多连接数据库管理工具,Navicat 的功能足以符合专业开发人员的所有需求,但是对数据库服务器的新手来说又相当容易学习。它可让你以单一程序同時连接到目前世面上所有版本的主流数据库并进行管理和操作,支持的数据库有: MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL。让管理不同类型的数据库更加方便。
近几年,除勒索病毒外,挖矿木马也越来越流行,多为利用漏洞利用、“永恒之蓝下载器”、弱口令暴破等手段完成攻击,由于其具有较强的隐蔽性,会利用一些手段避开受害者活动时间,利用受害者空闲时间进行挖矿,长此以往,服务器、主机显卡或CPU长期占用过高,导致电脑性能降低,同时攻击者会利用已控制的挖矿主机攻击其他设备,导致业务中断甚至更严重的网络安全事件的发生。
在维护TiDB时,专业DBA巡检会经常翻看每个集群的指标、看看各个集群的慢日志、给集群核心指标配置告警等操作。然而,一个TiDB集群有上百个指标监控,当维护少数几个TiDB集群时,可以逐个巡检。当维护几十个集群600个(甚至更多)以上节点时就不能靠人工蛮干了...
这个方案就跟停机迁移一样,步骤几乎一致,唯一的一点就是那个导数的工具,是把现有库表的数据抽出来慢慢倒入到新的库和表里去。但是最好别这么玩儿,有点不太靠谱,因为既然分库分表就说明数据量实在是太大了,可能多达几亿条,甚至几十亿,你这么玩儿,可能会出问题。
领取专属 10元无门槛券
手把手带您无忧上云