但是公司业务发展的速度实在太快,来了一个厂商或者应用就要求我们上线一个RDS实例,并且要求实例具备高可用、可扩展能力,随时上线或者下线,领导又要求提高物理硬件资源利用率。业务部门整天催着我们快速提供数据库服务,数据库实例多了后,运维难度和复杂度直线上升。公司IT发展战略朝着微服务和互联网化全面改造,DevOps建设又旨在打通运维和开发部门壁垒,作为DBA运维人员该如何适应这种转型?
作者:李志勇 来源: http://www.csdn.net/article/2016-03-21/2826611 偶然在网上看到游族网络运维总监李志勇先生进行的一次分享,作为一个运维人,对其中的运维
前段时间整理了一下数据库运维系统的一些内容,比自己预期的要难一些。我来简单回顾下一些参考点。
导语:“你不是不够好,你只是过时了”这句话用到 IT 行业特别合适,每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。 明星 DBA 层出不穷的时期 刚进入阿里时听过一句话一直记到现在,“要像了解自己的老婆一样了解自己管理的数据库”。当年我还没有结婚,对这句话的理解并不深刻。 这应该是@冯春培说的,当年进阿里的面试考官之一,大家都服气的称他为大师。 这句话后面其实隐含了一个背景:相比现在,当时的应用迭代较慢,架构
“你不是不够好, 你只是过时了” 这句话用到 IT 行业特别合适, 每隔一段时间都会有新的技术出现, 让码农们应接不暇. 借着回顾 DBA 工作中的几个时期, 跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作.
摘要 “你不是不够好,你只是过时了”这句话用到 IT 行业特别合适,每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。 DBA 层出不穷的时期 刚进入阿里时听过一句话一直记到现在,“要像了解自己的老婆一样了解自己管理的数据库”。当年我还没有结婚,对这句话的理解并不深刻。 这应该是@冯春培说的,当年进阿里的面试考官之一,大家都服气的称他为大师。 这句话后面其实隐含了一个背景:相比现在,当时的应用迭代较慢,架构集中,
今天我就给大家讲一下我们这边做的数据库运维的自动化平台,他是怎么样子的。首先我会给大家简单介绍一下我们做平台的背景,以及平台的一些技术架构,以及针对我们DBA和开发的需求的全套解决方案。 首先是背景,我们为什么要做RDS,在做RDS之前其实我们也有一套自己的自动化系统,可是我们有了这套自动化系统我们发现有了之后我们DBA还是很忙,每天忙于工单处理,大表DDL,集群搭建,扩容,数据迁移等等。这些东西不能说没有价值,但是对于DBA来说,每一次的重复操作,都会让这个价值指数级下降,并且不能带来成长。所以我们对这些
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~
云产品 API 是用于与云产品进行通信的编程接口,允许开发者编写代码来控制云资源。通过使用 API,开发者可以实现自动化和标准化的操作,从而提高效率和降低错误率。此外,云产品 API 还可以提供对云服务的扩展和集成,使开发者能够将云服务与自有其他应用系统集成,构建更加丰富和复杂的应用程序。通过使用 API,可以提高开发者的生产力和创新能力,帮助他们更快地开发和部署云应用,从而更好地满足业务需求,实现真正的"DevOps"。
笔者刚开始进入公司的时候,主要是忙于分布式MySQL系统----MyShard的构建,公司使用了大量的IDC机房,基于这种网络特点,MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库,可以在多个机房中部署的业务上提供快速的写操作,实现了分布式高可用存储能力。
Growth Hacking这个词在过去一两年开始迅速从硅谷传播到国内,也诞生了一系列专注于企业数据分析业务的明星初创公司,如GrowingIO,神策数据,诸葛IO等。Growth Hacking简单的来说就是用数据驱动的方式来指导产品的迭代改进,以实现用户的快速增长,可以看看上面几家数据分析公司披露的客户就知道它有多流行了: GrowingIO客户:有赞,豆瓣,36Kr等 神策数据客户:秒拍,AcFun,爱鲜蜂,pp租车等 诸葛IO客户:Enjoy,罗辑思维等 我司的一个主要产品是面向中小诊所的运营S
上世纪 60 年代,首款企业级数据库产品诞生。经过六十余年的发展,企业级数据库市场已从原先寡头垄断的格局发展成百家争鸣的繁荣局面。多元数据库的格局,极大的促进了社会经济的发展,但同时也带来了数据库运维管理上的难题,如何更好的管理多云数据库,成为行业亟待解决的难题。 数据库多元化带来的管理难点 安装部署过程复杂:传统数据库环境准备,需要用户自行准备存储、网络、计算资源,协调系统、网络、数据库等各方专家,才能完成一套可用的数据库集群部署。 数据库管理难度大:传统数据库管理依赖于数据库厂商自带的管理工具,而今数据
一 、引子 笔者刚开始进入公司的时候,主要是忙于分布式MySQL系统----MyShard的构建,公司使用了大量的IDC机房,基于这种网络特点,MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库,可以在多个机房中部署的业务上提供快速的写操作,实现了分布式高可用存储能力。 在业务增长期,MyShard解决了公司的很多大型的数据库存储业务,随着公司业务逐渐稳定下来,分布式存储需求越来越少。而公司却有大量的小业务以及不断尝试的各种新业务,需要越来越多的小数据量的数据库存
有赞的基础架构使用了UCloud的基础服务,我们有相当比例的数据库是UCloud的RDS(一部分使用云RDS,一部分使用购买他们的物理服务器自建数据库)。
最近在 Operator 还是 Provider 的问题上掉了不少头发,感谢 pigletfly 推荐本文,解答了我很多疑惑。
最近的互联网线上事故发生比较频繁,9月19日网上爆料出顺丰近期发生了一起线上删库事件,在这里就不介绍了。
👆点击“博文视点Broadview”,获取更多书讯 《云数据库架构》一书全面介绍了主流数据库的技术特点,结合业务场景讲解了数据库技术选型和数据库架构的最佳实践。下面我们摘取本书第1章中对阿里云RDS MySQL三节点企业版的重点内容,让读者先睹为快。 数据库的高可用是个悠久的话题,目前以最常见的主备模式为例, 它主要有异步和半同步两种方式,但这两种方式都有各自的缺陷。 异步在主库宕机后,最后更新的记录有可能没有推送到从库,从而引发数据丢失。 半同步虽然会保证最少有一个从库接收到binlog,但同样有丢
对于DBA的定位在如今看来已经发生了重大的变化,有些是职业定位上的,有些是心理定位上的,在团队内部也分享过一次,现在总结分享出来。
《多机房多活架构,究竟怎么玩?》说明了在机房迁移的过程中,一定有一个“多机房多活”的中间状态:
近些年,传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,运维逐渐跟不上业务发展,各种矛盾暴露的更加明显。在业务的驱动下,美团点评DBA团队经历了从“人肉”运维到工具化、产品化、自助化、自动化的转型之旅,也开始了智能运维在数据库领域的思考和实践。
运行后导致redis hang住,接着CPU飙升,业务上所有支付链路卡住,所有的请求流量全部挤压到了rds数据库中,引起数据库雪崩效应,进而直接宕机。
作者简介:崔秋,PingCAP 联合创始人,重度开源爱好者,曾任职于搜狗、豌豆荚,长期从事广告系统基础组件相关的研究,现主要从事开源 NewSQL 数据库 TiDB/TiKV 相关的设计和研发工作。
数据库管理系统对于大多数公司来说都是一个刚需。主要是将DBA的工作自动化,提高运维效率。传统企业会购买一些市场上的商业产品。互联网公司大多数会由DBA组自己开发维护一个类似系统。最近调研了一些开源的数据管理系统,加上一些个人的思考。觉得一个数据库管理系统应该具有以下基础功能:
随着云计算的快速发展,越来越多的企业希望从顶层框架入手,探索整体数据架构中的更多可能性,DBaaS(亦称泛数据库类服务)就是PaaS 层的一个重要分支。那么,DBaaS到底是什么?适用于哪些应用场景?
小孩子最好的地方在于,无论你对他怎么样,他一直对你还是怎么样,前一秒在哭,下一秒就会笑容满面,而成年人不同,别人的一句话,可能就是一把刀插进心脏,久久不能恢复。
很早之前整理了一份DBA 技能图谱,最近有朋友问源文件,正好随着技术迭代,针对技能图谱做了补充。
上云之后 DBA 会原地失业吗?其实多数情况都不会,那上云后还有哪些事需要 DBA 去做的呢?这节内容就来扯一扯。
而此时除了RDS 外,还想用 Redis,然而却不想自己搭建维护 Redis 服务。
Ping++ 是国内领先的支付解决方案 SaaS 服务商。自 2014 年正式推出聚合支付产品,Ping++ 便凭借“7行代码接入支付”的极致产品体验获得了广大企业客户的认可。
A云Polardb-x 1.0现已全面升级为Polardb-x 2.0,但Polardb-X 1.0有其自有特色,仍然有很多企业在使用Polardb-X 1.0方案。那么,当这些企业想将业务系统迁移至腾讯云时,该如何进行数据库选型?怎么样进行数据同步?其中又会涉及到哪些问题呢?
2020年已经过去,回顾过去一年,数据库领域发生了很多大事件。作为未来的主流趋势,云数据库变化表现尤为突出。下面尝试以国内最为主流的三大数据库云厂商-阿里、腾讯、华为为例,看看过去一年发生了哪些变化。从这些变化中,也可以看到各厂商不同的发展思路,进而解读下未来云数据库的发展方向。下述仅代表个人观点,仅供参考。
数据库这个行业是越来越有意思,参与的PEOPLE 是人山人海,锣鼓喧天,鞭炮齐鸣。 商业数据库 ,开源数据库,国产的数据库, 云原生的数据库 ,云RDS 数据库,已经不是百花齐放的,是星空璀璨。
时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍,本轮融资金额在数百万美金级别,由耀途资本领投,九合创投跟投。Greptime成立于2022年4月,是一家时序数据库厂商。公司CEO 庄晓丹曾在蚂蚁集团带领智能监控团队自研超大规模时序数据平台并实践 AIOps 智能运维,CTO 孙宁及技术 VP 冯家纯分别来自滴滴与蚂蚁集团。
大家知道 2022 年我又创业了,加入以虎哥 Startup 的 Databend 这个公司担任联创,我也从传统的 OLTP 转战到 OLAP,今年也接触了更多大数据用户。趁着元旦假期整理一下思路,从数据角度和大家聊一下 2022 年数据库发展,这里首先声明这篇文章更多只代表个人观点,大家看看就好,有兴趣后面找机会再交流。
在集中式开发时代,配置文件基本足够用了,因为那时配置的管理通常不会成为一个很大的问题,简单一点来说,系统上了生产之后,如果需要修改一个配置,登录到这台生产机器上,修改这个配置文件,然后reload配置文件并不是什么很大的负担。但是在互联网时代,我们的应用都是分布式系统,部署在N台机器上,如果在线上一台一台的重启机器,会造成很大的负担和不稳定。并且对于公司来说,会有多个环境区分(测试环境和线上环境),有时还需要对同一环境中的不同集群做不同的配置。因此需要一个配置中心来集中管理不同环境、不同集群的配置,修改配置后能够实时推送到应用端。
我们曾经分享过一篇文章,云时代的DBA,何去何从?,在文中我们讨论了Oracle最近几年重点转而向云的变革,它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。 云技术改变了数据库领领域的竞争
导读:本文我们盘点了往年发生的一些删库事件,我们该如何做到更好地预防和处理删库实践呢?
用户应用系统在蓬勃发展的同时,信息化的建设和发展也面临着巨大的考验,伴随着信息安全及业务的要求,数据库的数量、类型是越来越多。数据库的种类包括了Oracle、MSSQL、MySQL等多种数据库类型,未来国产数据库达梦DM、人大金仓、OeanBase、海量Vastbase、华为GaussDB等也将会进一步应用,多种数据库的管理、安全和性能都面临着新的挑战。
某游戏公司开发了个游戏APP,该公司在APP中会发布一些游戏场景、游戏角色、装备、精美皮肤等内容,玩家在线娱乐,产生充值购买等行为。 业务的构建涉及到几个端:
Percona Everest目前处于alpha阶段,它面向寻求利用私有数据库即服务(DBaaS)的优势,而又不想重新造轮子的组织。
DBA作为一个群体,祖师爷可以追溯到数据库领域的第一位图灵奖获奖者:查尔斯·威廉·巴赫曼(Charles William Bachman,1924年11月11日-2017年7月13日)。
很震惊!很震撼!吓得我赶紧召集全公司服务端小伙伴Review了我们所有的安全部署!!!
有赞大数据技术应用的早期,我们使用 Sqoop 作为数据同步工具,满足了 MySQL 与 Hive 之间数据同步的日常开发需求。
导读:余额宝开启了划时代的意义,开启了全民理财时代。上个月微博商业产品部联合天弘基金等金融技术团队策划了首届互联网金融系统沙龙,围绕在互联网金融过程中碰到技术架构问题与业界展开分享及交流。本文是陈雨在沙龙上的演讲,授权高可用架构首发。
作者 | 吴炳锡 中国数据库行业随着 2021 年 7 月 PingCAP 完成 3.4 亿美元融资,估值达到 30 亿美金,把中国数据库行业引爆了。2022 年 12 月 23 日达梦数据库 IPO 顺利过会,如果上市成功预计估值在 500 亿人民币,不出意外的话,这将是科创板最大的 IPO 之一。 那么你知道中国的数据公司有多少吗?据不完全的统计已经超过 300 多家,那 2023 年数据库市场又会是什么变化呢?我这里抛出来 5 个问题借本文与大家讨论一下。 Q1. 中国和海外数据库的差距还有多远?
本次分享将介绍Pigsty:PostgreSQL RDS的Me-Better开源替代。Pigsty是如何从可观测性,可靠性,可维护性,可用性,可扩展性与安全性六个维度上,让裸奔的PostgreSQL内核成为全盛状态的六边形战士,以云数据库5%~30%的成本,提供更好的生产级关系型数据库服务(RDS)。
从2019年初开始,就有不少创业公司陆陆续续向我咨询Kubernetes等云原生技术。
领取专属 10元无门槛券
手把手带您无忧上云