生物信息学是真正的大数据专业,对计算资源要求较大,很多时候需要在服务器上分析数据,而 Linux 是最常用的服务器操作系统。
在大概4年前,我们算是从0到1的构建了现在的数据库运维开发体系,这个过程有较长的启动周期,从我个人主导到后来的成员独当一面,从零星的功能建设到现在有了相对体系化的建设,现在想想真是不易。
春天来了,也到了新的财季,新的年度规划也要开始了。我相信很多同学都会有一种茫然的感觉,一年到头有做不完的事情,同时也感觉规划和实际落地会有很大的差距。
现在大家都在讲智能化运维,自动化运维已经逐渐少有提及。这是一个理念和技术演进的正常过程,自动化运维已经从一种思潮和探索正在转变为落地和使用。越来越多企业已经开始落地自动化运维,在真正把步子迈出去的时候,发现自动化运维原来并不是一件复杂的工程,很多企业其实早就开始建设了。
周耀荣:感谢大家坚持到现在,我先介绍一下我自己,我叫周耀荣,曾经任职于腾讯、金蝶、华为,现在在珍爱网,也算是数据库DB运维的老兵。
记得自己在去年的时候私信问了一些朋友关于DBA核心价值和最重要的能力的问题,听到了很多不同角度的思考和反馈,今天整理了下,时隔半年,也算是完成了一件心头的事情。
最近在和团队规划OKR目标的时候,我们讨论了很多问题,我先抛砖引玉,列举了一些现有的问题,打算按照推导的方式:
来源 / ToB行业头条 (ID:wwwqifu) 作者 / 海阳
2019 年 3 月 16 日,在北京国粹馆举行了首期 TVP 修炼营,这是一场专属于热爱大数据的技术专家们的活动。TVP,即腾讯云最具价值专家(Tencent Cloud Valuable Professional),是腾讯云实现数字化转型、建设智慧生态的重要战略计划之一,旨在通过建立与行业技术专家的交流平台,促进腾讯云与技术专家和用户之间的有效沟通,从而提升腾讯云产品能力,打造云计算技术生态,实现“用科技影响世界”的美好愿景。
最近在团队内聊了下关于MySQL 8.0的特性调研工作,其实线上已经稳定运行了近20%的业务,但是很多思维模式和习惯还是继承自5.7,所以需要与时俱进,在技能上能够引导开发同学,在后端的支持上能够做到游刃有余。
这篇文章来自于微信群的问答,我和周彦伟互相配合,彦伟回答了我的四个关于MySQL和Oracle的问题,对于来自两个不同领域的人,这些问题我想对很多人具备参考价值。整理收录于此,供参考。 1.用户该选择怎样的MySQL? 盖国强问:随着Oracle囊括MySQL而去,用户对于MySQL命运的担忧从未停止,然而官方版本的各种特性确实在不断增强,从GTID到MTS,Oracle解决了MySQL的很多历史问题,同时诸如MariaDB等新的分支又激活了开源的引擎,Oracle官方分支与其他分支相比,是否具备明确的更新
2019 Gdevops全球敏捷运维峰会广州站:由上海市经信委指导、dbaplus社群主办的年度收官之站,汲全年之精华,取热点技术之核心,重点围绕智慧运维、DevOps、数据库领域,邀请来阿里、腾讯、京东、蚂蚁金服、新浪微博、甜橙金融、联通大数据、微众银行、贝壳找房、新炬网络、巨杉、爱可生、JFrog等名企技术大咖,11月他们将从全国各地汇聚至广州,一起展开年度技术总结与发展趋势展望。 2019 Gdevops广州站 ---- 时间:2019年11月15日 地点:广州阳光酒店 指导单位:上海
"我的代码太完美了,不可能有bug!" 不知道大家有没有过这样的自信。我们团队的代码观:“是代码一定是有bug的。要考虑好充分的兜底以及紧急预案。”
潘娟,京东金融高级DBA,主要负责京东金融生产数据库运维及数据库平台、中间件开发工作。多次参与京东金融6.18、11.11大促活动的护航工作。曾负责京东金融数据库自动化平台设计与开发项目,现专注于Sharding-Sphere分布式数据库中间件开发。乐于在数据库、自动化、分布式、中间件等相关领域进行学习和探索。
今天下午对比了下MyCAT,MySQL和其他数据库的能力项对比情况,梳理了一个列表,因为篇幅原因,主要包含如下的一些能力项。
云集成立于2015年,是一家由社交驱动的精品会员电商,被誉为“中国会员电商第一股”,数据资源积累量十分庞大。在数据的维护管理方面,过去云集主要采用自建IDC方式部署,迁移到公有云后,服务器和人工维护的成本大幅降低,最“疯狂”的时候,一个运维人员可以直接管理一两千台的云主机,这在过去是难以想象的画面。
万物互联和大数据技术的发展,让我们的生活更加活色生香,其背后离不开安全、稳定可靠的服务器系统。
借着公司今年新组建的中台研发部东风,我作为其中的主要负责人,在研发中心主导推行DevOps研发管理模式转变及质量管理创新建设,本篇文章摘取自今年9月底,笔者在公司内部针对全体研发人员的一次DevOps培训PPT中的部分内容,涉及公司敏感信息和部分章节内容顺序已经作过处理。
最近两天也看到了一些文章,里面提到了关于DBA这个岗位的不务实,或者说这个岗位存在着一些危机,从我的视角来看,这是一件挺好的事情,算是给我们这个岗位敲响了警钟。
引言 点击查看会议精彩内容 金融行业,是数字化转型浪潮中的排头兵。这个上千年来,不断创新的行业,从以物易物到纸币发行再到数字资产,承袭至今的是保障客户资产安全,提升资产流通效率的本心。进入产业互联网时代以后,金融科技的发展迎来了哪些新机遇?数据资产成为新的生产要素的当下,如何保护信息安全,合法合规利用数据价值?自主可控的前提下,如何提升国产技术产品的性能和稳定性,满足业务发展需求? 为此,腾讯云 TVP 发起了一场《赋能金融数字化,构建行业新生态》的交流会,遍邀行业专家群策群力,为改革走入深水区的金融行业加
本期技术沙龙将会聚焦在大数据、存储、数据库以及Alluxio应用实践等领域,邀请腾讯技术专家和业界技术专家现场分享关于Alluxio系统的基本原理、大数据系统架构、数据库应用运维、AI计算机视觉技术及落地实践等主题,带来丰富的实战内容和经验交流。
数据服务业务是未来趋势,荣之联刚刚发布的大数据平台DataZoo有啥亮点?
围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案带到传统行业中;囊括其他开源技术Redis、MongoDB、HBase、Hadoop、ElasticSearch、Storm、Spark等;分享干货知识,即便是赞助商,也要求如此,拒绝放水。
2015年11月20日~21日,Oracle技术嘉年华大会在北京召开,虽然漫天风雪使得北京充满了寒意,但是到场超过1000位嘉宾使得整个会场暖意融融,我们尤其感谢为大会奉献精彩演讲的嘉宾,参会的技术爱好者,正是这个生态才使得这个会议走过了五个年头,呈现愈加精彩的内容。会议的主办方ACOUG和云和恩墨、大会的赞助方宝存科技、以及IT168&ITPUB对于本次大会的支持让我们心存感激,正是这些团队的精诚合作,才让我们的大会如此井然有序,精彩纷呈。 这次“Oracle技术嘉年华”大会让我深为感触的有以下几点: 去
现在,运维人员想要查看设备的相关信息,只需戴上一副AR眼镜,各种实时数据就能直接出现在眼前了。
嘉宾 |李卫、王南、杨建荣、刘博 编辑 |赵钰莹 随着信息技术的迅猛发展,各行各业产生的数据量呈爆炸式增长,传统集中式数据库的局限性在面对大规模数据处理中逐渐显露,从而分布式数据库应运而生。分布式数据库是在集中式数据库的基础上发展起来的,是分布式系统与传统数据库技术结合的产物,具有透明性、数据冗余性、易于扩展性等特点,还具 备高可靠、高可用、低成本 等方面的优势,能够突破传统数据库的瓶颈。 分布式数据库目前已应用到金融、电信等大数据行业,未来将走向更广阔的领域。本期“数据库 Talk Show”圆桌直
伴随云计算的迅猛发展,数据库也进入了云时代。云数据库不断涌现,产品越来越成熟和智能,作为数据库管理员的DBA将面临哪些机遇和挑战?又应该具备什么能力,才能应对未来的不确定性?
“你不是不够好, 你只是过时了” 这句话用到 IT 行业特别合适, 每隔一段时间都会有新的技术出现, 让码农们应接不暇. 借着回顾 DBA 工作中的几个时期, 跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作.
这是夏华夏在刚刚过去的“1024 程序员节”时送给技术同行的一句话。这也是夏华夏自己的人生写照:从没摸过计算机的山东高考状元到清华计算机系的学霸,从美国名校深造、Google修炼6年到选择回国,从加入当时还很小的美团到负责公司最大业务的总体架构,从架构师转为无人配送这个前沿业务部门的管理者,夏华夏就是在不断突破自己的边界,做出人生的重要抉择,脚踏实地,一步步成长为业界知名的技术领军人物。
2019年4月27日(周六),BigData&Alluxio-技术沙龙(云+社区主办)在成都市高新区天府三街腾讯大厦圆满举行。本次活动聚焦在大数据、存储、数据库以及Alluxio应用实践等领域,到场的嘉宾有Alluxio项目PMC成员顾荣博士、腾讯高级工程师彭健、腾讯云数据库架构师鲁越、腾讯云人工智能资深产品架构师晏栋。现场分享了关于Alluxio的系统原理与新特性介绍、大数据系统架构、数据库应用运维、AI计算机视觉技术及落地实践等主题。
快讯:12月21日-22日,2017年年“互联网+智能物流”高峰论坛暨中国交通运输协会供应链信息化分会年会在中国八大古都之一--安阳市隆重召开。 本次论坛由中国交通运输协会、安阳市人民政府主办,中国交通运输协会供应链信息化分会、河南省交通物流协会、陕西省交通运输协会、安阳市商务局、安阳市交通局、安阳市物流协会承办,为进一步推进“互联网+”、“创新驱动发展”、“供给侧结构性改革”等国家重大战略举措的实施,加快推动物联网、云计算、大数据、移动互联等先进信息技术在物流领域的应用,推动物流业乃至中国经济的转型升级。
「初入职场的菜菜同学」一心想靠 Java 技术来改变世界,未成想被网络环境问题缠身,于是抱着电脑,满怀希望的去找运维同事寻求帮助。
最近几年,国内各种去IOE的声音起伏跌宕,开源产品渐渐深入人心,那么Oracle在做什么?行业向何方向发展? 2015嘉年华大会,正是在这样一个转折点上,Oracle向云的全面转型,数据库12.2的即将发布,分布式与大数据产品的创新,一体化与M7处理器的亮色,这一切都挟着Oracle强大的技术和市场能力而来,看Oracle王者风范,再起风云。 本届大会以下看点值得期待: 1.Oracle新产品战略 ---- Oracle早已经不仅仅是一家软件公司,在主机、存储,一体机,甚至芯片方面,Oracle都有杀手级产
郭为有些“不满意”,展台区域甚至连一个“网红”都没有。柜台式的传统展示方式,中规中矩,就像十几年来我们一直看到的那样。郭为是神州数码集团的董事长。
数据库 DBA 在整体软件的成型的过程中大部分的单位都将这个职位定位成一个运维的职位。 当然既定的现实存在即合理,这也是无法辩驳的,但实际上DBA 到底应该不应该就是也给运维的职位,都2021年了,咱们的开始论论了。
前面一系列celery的文章算是从0到1将celery的架构,原理以及核心功能比较完整的呈现给大家,本文则基于运维的角度介绍如何在生产上运维celery。
人内心的默契就是这样,今天要写的标题和几年前一模一样,干脆在原来的基础上做一些补充。
摘要 “你不是不够好,你只是过时了”这句话用到 IT 行业特别合适,每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。 DBA 层出不穷的时期 刚进入阿里时听过一句话一直记到现在,“要像了解自己的老婆一样了解自己管理的数据库”。当年我还没有结婚,对这句话的理解并不深刻。 这应该是@冯春培说的,当年进阿里的面试考官之一,大家都服气的称他为大师。 这句话后面其实隐含了一个背景:相比现在,当时的应用迭代较慢,架构集中,
首先啰嗦下学习MySQL的一些背景:MySQL作为目前最为活跃热门的开源数据库之一,以低成本和简易操作的组合方案在互联网企业中被广泛采用而大放异彩。在炙手可热的BAT中,MySQL正被大量使用。显然,对于想在互联网行业大展手脚的数据库工程师和DBA们,熟练的MySQL技术无疑是一块很好的敲门砖。
导语:“你不是不够好,你只是过时了”这句话用到 IT 行业特别合适,每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。 明星 DBA 层出不穷的时期 刚进入阿里时听过一句话一直记到现在,“要像了解自己的老婆一样了解自己管理的数据库”。当年我还没有结婚,对这句话的理解并不深刻。 这应该是@冯春培说的,当年进阿里的面试考官之一,大家都服气的称他为大师。 这句话后面其实隐含了一个背景:相比现在,当时的应用迭代较慢,架构
对开发人员来说,需要在时间允许的条件下定期的review自己和别人的代码,加深对项目的整体理解。对自己的成长做总结。如果过了一段时间,还看到自己之前的代码,觉得写的很好的话,就需要质疑自己的成长,更努力的学习了。
来源:马哥教育链接:https://mp.weixin.qq.com/s/727F4B_uL2aAPqJUsdRtfw在这个现如今的互联网高速发展的时代,如何才能保持住一门铁的饭碗。无疑最稳妥的自然就是选择一门任何时代都不会落伍的技能,来选择深入学习研究。大家可能觉得这一期的Linux就该这么学的话题比较世俗。但是不得不说,当下时代唯有一定的经济能力,才可稳当的在这个社会上立足。而接下来要给大家介绍的就是一门发展延伸了很多年且越来越火的技能,那就是我们今天的猪脚——Linux运维。而想要拿到铁饭碗乃至高薪。那唯有将Linux运维这部功法修炼到至高境界。才有拿到高薪的机会。而本期讨论的就是如何修炼Linux运维。首先先给大家看一下Linux运维工程师必备技能:1. Linux系统基础2. 网络服务3. Shell脚本语言4. 数据库5. 防火墙6. 监控工具7. 集群于热备8. 数据备份9. 文本处理10. 正则表达式然后在这里给大家罗列出几条Linux运维修炼心经:1、从思维上摆脱传统Windows系统思维模式。相信绝大部分人使用计算机时所接触到的首个操作系统仍然是Windows系列操作系统,而且可能在接触Linux操作系统之前已经使用了很长时间的Windows系统操作系统了。这样,就很容易在我们的脑海里形式Windows系统操作系统的操作习惯和思维习惯。虽说Linux和Windows均是操作系统,功能上没有太大的差别。但是,Linux的操作习惯和思维方式与Windows还是有很大差别的。如,笔者第一次安装好“蓝点”后就为找不到D盘而疑惑。同时,笔者接触到Linux新手大部分都有一个习惯:学习Linux习惯于在图形化界面上操作,估计就是受Windows影响的缘故。2、多动手,勤于实践。本人也经常遇到初学者问我有什么好的方法学好Linux。我基本上每次都类似回答他们:没有什么好办法,只有多动手,勤于实践。学习计算机有一个非常好的优势就是,你测试环境下或虚拟机上搞测试不需要太担心把机器搞坏,即使把系统搞坏了,大不了重装系统就是了。计算机方面的知识很多都是非常抽象的,很多时候如果我们只是看书,往往是看得云里雾里,只有通过不断的实践,测试,验证才能真正搞懂一个概念。3、要有不畏惧困难和强烈的研究精神。经常看到许多新手一遇到问题就论坛上去发帖,向高手求教。而且许多时候这些人似乎要求所谓的高手拥有灵丹妙药,对于他们的问题给出详细的解决方法甚至完善的步骤。其实这是最要不得的对待问题的态度。虽然,高手给我们提供的解决问题的建议或许对我们有很大的参考价值,但是仅仅只能作为参考,我们不能不加思考的照搬他们的方法。4、善于整理和总结知识是要通过不断的整理和总结才能升化和系列化的。当我们每次遇到问题时,都能记录当时的场景以及解决方法,随着我们学习的不断深入,那么我们所积累的知识也就越来越丰富。5、要有很强的责任心和使命感。基本上运维是系统对外提供服务的最后的把关者。因此,一个系统对用户来说是不是稳定跟运维有很大的关系。特别是,当系统不出现问题的时候,许多运维都不重视容灾备份和数据安全,这样一旦系统出现了故障,系统的恢复就需要花很长的时间。6、要有不断的学习精神计算机的发展真是太快了,新的知识、新的技术层出不穷。如果不持续的保持不断学习,那么很快知识就会老化,跟不上时代发展的需要。7、要有精益求精的精神应该说运维的工作的弹性还是很大的。即可以非常粗造的运维一个系统,也可以持续改进、优化系统,使系统越来越高效的运行。而如何让一个系统越来越高效的运行,就需要我们具有精益求精的精神,持继地进行改进。这几条里,最重要的是第2和第4条,一定要养成动手和总结的习惯!除此之外,了解一下职位的必须技能,在学习的时候针对性的进行强化。去一些招聘网站,搜集一下运维工程师的职位要求,将这些职位要求进行汇总后,得出一条学习路线。学习最忌心焦气燥,调整一下心态,多和同道交流,争取早日成为一名Linux运维工程师! ��}ު�I!个铁饭碗?Linux系统运维之修炼秘法
经过潜心打磨,结合行业热点 2019年度Gdevops全球敏捷运维峰会 将于5月10日以北京为起点强势启动 展开新一年精彩纷呈的技术巡演! 关于Gdevops全球敏捷运维峰会 国内同时覆盖一线与二线城市的高端技术峰会,会议主题覆盖敏捷运维、AIOps、数据库、云与架构等重点方向。 2016年迄今已成功举办12场,多次巡回北京、上海、广州、杭州、成都等城市,累计参与人次达20000+。 汇聚dbaplus社群数百专家资源,是携手政府、企业共同打造的敏捷运维领域标杆盛会,覆盖从DBA、运维工程师到CXO等所有
这是学习笔记的第 2403篇文章 今天还在假期状态中,大概在10:30左右的时候,收到一条短信报警,提示一个数据库集群的中间件内存报警了,但是不到1分钟的时间,就提示报警恢复了,但是在11:00左右的时候,接到了研发同学的反馈,说这个数据库集群的只读服务貌似有些问题,想让我帮忙看一下到底有什么问题,整个集群的架构模式类似下面的形式,现在提示是黄色部分的只读数据库中间件有问题。 因为节前也做了巡检,而且这个只读服务已经运行了很长时间了,差不多有3年以上,所以我对于这个问题的初步印象是数据库中间件异
这是学习笔记的第 2407篇文章 最近在梳理工作的时候,做了一些小结。 首先是对于工作情况的量化,如果我们只是说自己做了什么什么事情,可能洋洋洒洒几十页ppt,也会让别人看得云里雾里,如果不是这个专业方向的人,基本都会有点晕菜,所以对于这个事情的抓手就是需要有一个参考基准,有了这个基准,你所做的事情都有一个对比,到底是多了还是少了,多了多少,少了多少,具体哪些多了,哪些少了都可以通过数字量化得到答案。 比如对于数据库服务能力的量化,我是选用了信通院开发的这个模型,通过评估惊人的发现我们做
书中给这篇文章所写的标题与内容并不十分贴切,反倒是本篇文章通俗的标题更恰当的提炼了本篇文章的内容。
领取专属 10元无门槛券
手把手带您无忧上云