因为工作行业的原因，会有很多的同行或朋友找我推荐一些有运维经验的人，或者直接希望要运维专家。 最近我回顾了下这个事情，发现很奇怪的是，好像我一次都没有推荐成功过。...我琢磨了下，可能有这样几个原因： 第一个，运维范畴，就运维这个工种来说，其实也是有很大范畴的，比如IDC运维、主机运维、系统运维、网络运维、应用运维、运维开发、智能运维等等。...但是这种能力的承载，或者说对开发的运维能力的赋能，将成为运维这个角色的职责，需要能够有统一的基础平台建设提供支撑，所以我们会发现，当前我们更加需要能够帮助团队建设出高效运维体系的角色，而不再是能够被动响应更多问题的角色...这个能力的提升，也不是外面招几个人进来就解决问题的，关键还是有意识有规划的去做一些架构能力提升。...再往后，就需要对基础设施和基础服务有规划的建设，这个要求应该是提给系统架构师和业务架构师的，而不是提给运维角色。前面基础打不好，后面想让运维做好，这个没可能。
找到一个价值方向来牵引整个团队很难，但又必须找到，因这个牵引力就决定了团队的气质及后续的工作方法；之前的文章“运维价值体系”有详述，在此不细谈。...这个地方有个建议，把线上服务的数据驱动作为重点（80%），把运维内部服务的数据驱动为辅（20%）。因为线上服务的状态会反作用于运维内部事务的优化。...比如说从数据中发现现网的服务有一个故障，需要紧急发布版本，此时就会直接检验运维的变更部署流程、平台的完备性。...因此大家都把CMDB系统当作运维的核心系统来对待，便于后续各个系统之间的互通。 在我的经验中，CMDB建设还是有非常多的坑。...作者简介 王津银 07年进入腾讯公司接触运维，先后在YY和UC参与不同业务形态的运维，对运维有一些理解。
请教潘老师：运维系统业务建模过程中，，运维人员的日常巡检过程、重大保障活动是业务用例吗？这2个活动是运维的重要客户服务内容，但问题是运维人员是组织内部业务工人，不是组织外的。...有什么机制吗？ 锡山飞狐 14:20:59 比如巡检，必须到真实地去查看每台设备、每个IT系统运行健康指标，而不是不干活，随便填写一个巡检报告单报告没有问题。...广罗军(120***58) 14:56:18 @锡山飞狐 服务主管领导、客户运维负责人这两个业务执行者是技术服务中心外的吗？...而"巡检"只是为了完成这个运维服务，组织Worker需要做的一个重要工作而已，它应该不是业务用例 乐吧(543***762) 15:36:11 至于"保障重大活动"，如果客户需要为此付费，我觉得也是业务用例...业务执行者的业务用例是不是有：了解公司，了解产品，签订服务协议，跟踪事件型运维，跟踪例行运维（这个看情况可拆开几个用例），调阅运维档案，咨询， 我不懂太多，不知道是不是有点启发作用 潘加宇(3504847
11 月 23 日，Erda 与 OSCHINA 社区联手发起了【高手问答第 271 期 -- 聊聊大规模 K8s 集群管理】，目前问答活动已持续一周，由 Erda SRE 团队负责人骆冰利为大家解答...并不只是一个简单的拆分动作，还得去考虑你开发运维方式的变化、组织结构的变化等。 Q6：K8s 持久化存储有推荐方案吗？...Q7：数据库这类对存储敏感的软件，你们会部署到 K8s 上吗？有什么要注意的？ A7：我们目前进行了区分，非生产环境采用了数据库上 K8s，可以有更高的成本和运维能力。...很多中间件都一样，不仅仅是数据库，只考虑存储还不够，比如你需要注意扩缩容、监控、快照备份、故障恢复等等，还有一些特定中间件的运维需求。...Q8：请问老师你们运维的 K8s 集群是运行在物理机上还是虚拟机上呢？现在不少公司都已经有虚拟化环境，虚拟机和容器共存有什么经验、建议吗？ A8：我们现在运维的 K8s 集群大部分都是在虚拟机上。
一年一度的双11活动已经成了一个全民狂欢的节日。 这一天，如何应对运营的各类指标压力，保障业务系统关键时候不挂，又成了研发和运维同学的梦魇。...容量规划 以做“双11”电商活动为例，对SRE团队的容量规划进行方法剖析。 假设产品运营团队规划的量是平时水位的5倍峰值，在传统运维的跟进模式下，开发团队因为有绩效压力，很多时候会多估计服务器需求。...因为类似“双11”的电商活动一般会是整个团队绩效考核的核心，每个模块的团队都会被下发容量指标。 以支付模块为例，在8月时单台云主机处理能力是50qps，而在“双11”时其处理能力就是2000qps。...如果对“双11”电商活动有两次以上的稳定性支持，你就会发现除容量、性能优化等事项外，更重要的就是业务的活动流程。...三、业务活动稳定性预案 在“双11”电商活动中，系统开始慢慢过载时，相信没有人有勇气可以直接调整某些参数了，即使有，也需要经过层层审批，审批人还需要承受巨大的压力。
3、有哪些业务系统和人可以调用访问数据库？其访问权限是否合理、最小化？ 4、有多少内部人员、第三方人员可以接触核心系统？他们的开发、运维过程是否可视？ ...可采用专业数据库审计系统，建立敏感数据的访问行为模型，动态掌握模型的变更，发现异常。 建立运维环节的审计防护措施，掌握运维环节的人、设备、权限、操作过程等关键环节。...可采用运维审计系统，实现运维人员实名制、双因子认证、最小权限控制、运维过程审计等，让整个运维环节可控、可追溯。 ...比如数据中心防火墙规定仅允许了192.168.1.100-110共10个IP地址访问数据库，那数据库审计系统上就可以设置相应的审计措施，来动态监测是否有查处这些IP地址范围的人来访问，如果有就进行实时告警...定期开启专项审计：比如每个季度开展一次审计专题活动，比如数据库访问权限审计专题、第三方外包人员管理过程审计、备份恢复有效性审计等，这样不仅能够帮助IT部门发现问题，还能够起到很好的宣传效果，有利于审计部门自身的价值呈现和团队建设
image.png 微服务是银弹吗？...image.png 突然有一天客户在做活动的时候，监控中心各种告警，在每分钟500tps的时候很多请求超时，监控显示目前的服务器不能支撑这么大的并发量，于是快速增加服务器布署应用上线，发现根本没用，加了和没加一样...其中微服务的数据去中心化核心要点是： 每个微服务有自己私有的数据库持久化业务数据。 每个微服务只能访问自己的数据库，而不能访问其它服务的数据库。 某些业务场景下，需要在一个事务中更新多个数据库。...于是问题随后就来了： 1、以前团队一共就10个人只负责一二个项目，现在突然增加到平均每人维护二三个项目，上线还是采用由运维手工打war包上线，如果有修改的配置文件，则运维同学一台一台的进行修改，不仅容易上线出错...3、机房的双活问题，对于金融公司来说双活还是很关键的一项技术指标，对于应用双活来说，其实还是比较容易实现，但是对于数据库来说确是一个技术问题了，对于oracle数据库来说，用oracle官方提供的OGG
作为一名伴随腾讯十年的运维老兵，腾讯运维总监聂鑫有话对你说... 个人简介： 从开发到运维，伴随腾讯社交网络运营部成长的十年，负责过腾讯社交产品所有业务运维工作。...作为运维界老兵有好多故事想和大家讲，也特别愿意听听各位经历的酸甜苦辣。 2018年5月26日，高效运维 AIOps 北京沙龙，腾讯运维总监聂鑫老师将来到现场，并分享腾讯在智能运维领域的实践经验。...在运维监控系统中，每时每刻会产生大量应用监控数据，日志数据，主机数据，网络数据，如何识别出这些信息那些是有问题，如何排除一些干扰信息，发送出准确的报警。...有了异常检测所产生的异常报警数据，又如何找到这些数据之间的关联，找到产生问题的最根本原因，准确的定位，其实一次数据库访问的失败可能是由于交换机问题引起。...从2015年开始从事智能运维监控平台的研发与实践，参与并主导了APM等产品的研发与应用，经历了多次618和双11的千万级TPS的运维保障，支撑了京东金融的大量业务应用。 活动通知 扫码参与报名
简单认识 云原生有一个简单的理解：云指的就是云服务器，原生指的就是云服务器中自带的应用软件。...这些应用软件可以高效弹性扩缩容（指的就是增加或减少服务器的数量）后，自动适配新的服务器数量环境，而不需要运维或开发做什么。...那么双11的到来了，这些服务器肯定不够用，那么怎么安排才能满足双11的需求呢？...那么可以把双11活动分解成： 活动前：双11前引导用户浏览商品，并把商品添加到购物车 活动中：双11开始，引导用户直接从购物车下单购买 按照上述分解之后，活动前的访问压力就集中到商品浏览、商品购物车模块...无服务并不是指不需要服务器了，而是指不用关注服务器部署、扩容等，开发者重点关注业务即可 服务网格（Service Mesh）: 让用户更精细化、更智能的去关联服务之间的通讯 持续交付/集成（DevOps）：是开发、运维
“数据猿年度重磅活动预告：2020年度金猿策划活动（金猿榜单发布+金猿奖杯颁发+2.0版产业图谱+落地颁奖大会）即将推出，敬请咨询期待！...数据猿发布产业全景图——2020中国数据智能产业图谱1.0版 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 ---- 超级流量IP双十一大幕开启，作为今年来全球最大的消费季，双11的交易额纪录不断被刷新...11月1日至11日0点30分，2020年天猫双11全球狂欢季实时成交额突破3723亿元，创造新消费的里程碑。对于广大“剁手党”来说，那种在一瞬间将购物车心仪物品清空的感觉简直妙不可言。...鹏博士大数据运维工作指导性文件《应急手册》、《运维手册》虽在不断更新并已日臻完善，但在每年重保之前，还会将其进行针对性升级以确保准备充分。...正是因为有了这样的专业精神，有了这样专业的运维团队，也才会有那么多优质客户会跟着鹏博士大数据20年一路走来。 —— / END / —
预估业务量，产品经验有必要提前估算这次购票活动会带来的请求量规模，让技术团队能够有一定的依据来准备容量，可结合英雄联盟的热度和历史经验。 错峰预约策略，这是一种产品策略，把相当于把峰值提前打散。...如双11的提前预约再抢购，红米手机在QQ空间的活动，先抢资格择日再买。 站在开发团队的角度，在提升架构的性能吞吐的同时，可以站在运维的角度为架构增加些非功能性的特性。...测试用例服务化，让运维有能力在完成应用部署后，自动化调用测试用例验证服务功能，以实现自动部署自动上线。...终于轮到运维团队的改进措施，不仅是针对此次抢票故障，运维务必有一套规范流程对业务的运营活动进行质量保障。...与合作团队多沟通，重大的活动需要郑重对待，但首先得确保每个产品的重大活动都能够通知到运维团队。
这种模式让分库分表变得模糊，对应用来说，更像是一个封装了 MySQL 的新型数据库。 虽然用户使用变得更简单了，但简单的背后是运维的沉淀，分库分表该存在的问题它依然存在。...运维复杂度问题：分库分表后的多个库表的管理麻烦，运维成本非常高，数据查询也很麻烦。...有。那就是 NewSQL。 NewSQL 是一类关系数据库管理系统，旨在为在线事务处理(OLTP) 工作负载提供 NoSQL 系统的可扩展性，同时保持传统数据库系统的 ACID 保证。...肯德基所有的会员登录系统，包括 KFC 的 APP 以及第三方登录，后台数据库都是用的 TiDB ，这套业务 2020 年 4 月份上线，已经经历过多次肯德基的大促等活动，目前肯德基的后台支付系统也已经切换到...分库分表是一个重量级的方案，它会带来很多新的问题，对基建和运维的要求也很高。 NewSQL 功能强大但也有功能缺陷。 如何去抉择需要根据系统现状和公司情况去综合判断。
在这样严峻甚至堪称残酷的局面下，当时OMG的数据库负责人邵宗文发现可以结合微信移动化以及人工智能可以有效解决人力问题，于是运维小分队选择开发了兼容PC端和移动端的智能运维平台，来完成这个“不可能完成的任务...智能托管平台，是基于OMG的业务不断发展，不断思考运维效率提升方式后的产物，该平台解决了业务问题定位成本高，微信沟通问题无法深入，有告警无跟进的问题。...智能托管平台就是腾讯云数据库智能管家DBbrain的前身。 三、“无人值守”的运维时代 DBbrain青出于蓝而胜于蓝，开启了“无人值守运维新时代”。...依托微信小程序为载体，为客户节省了下载和安装APP的繁琐步骤，更能第一时间的关注到数据库的实时动态，为用户者打造了一款智能、高效、便捷的掌上数据库运维体验。...MacBook/iPhone 11/AirPods 25台Kindle 8万元腾讯云创业基金 MySQL之父 Michael Widenius 面对面交流 转发下方海报参与活动可以获得腾讯公仔和腾讯云数据库无门槛代金券
当然对于MySQL 8.0，有很多同学还是带有意思疑问，这个版本稳定吗，适不适合生产环境，如何平滑的升级到新的版本中，对此我们的调研工作需要做细做深，每一个技术点上都需要一些测评数据和对比数据的支撑。...我们经过讨论，锁定了一部分的特性内容，主要是从开发的角度来进行考量，还有一些特性是从运维管理侧来入手，这样一来就会形成两个分享方向，面向开发特性和面向运维管理。...11.数据库参数的变化 参数的变化是最直接学习功能特性的方式 12.窗口函数 窗口函数还是带有一些想象空间的，但是在复杂度方面有一丝的顾虑，否则用不好就是“引狼入室” *13.密码插件，对于开发环境需要注意...14.双密码 在安全管理和运维的支撑方面是一个很强大的功能，尤其对于哪些安全管控严格的公司，每隔一段时间需要更换密码，这种场景简直有如神助。...26.克隆插件 克隆插件式运维层面来说一个关键的特性，期望值很高。
受双11、618等大促活动影响，井喷式的业务流量对中通的系统稳定性提出了更高的要求，过去的压测方案已经无法满足业务发展的需求。...-可以进行agent安装包上传与安装，并查看agent相关日志的系统运维人员 测试负责人-此应用的测试人员 DBA-可以进行数据铺底，影子库表创建，数据库性能监控的DBA人员 性能指标-本次压测的目标...全量上线与试跑 如果灰度没有问题，则通知运维，将agent安装在应用的所有机器，全量重启目标机器。...，且压测数据我们都会加上识别标识，比如PT开头的订单号都是压测数据，但因为各种原因，大量的压测数据可能会导致部份或者全部压测数据被错误的写入了正式数据库表，从而污染了真实环境的数据，导致各种生产故障，因此有必要实时的检测是否有测试数据被错误的写入了正式数据库表...，运单，面单等多个业务共62个应用中进行了接入，成功支持了双11&618大促与淘宝&拼多多等大流量联合线上压测的场景，虽然初步能解决原来压测中存在的问题，但也引入了一些新的问题。
每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...整个平台被分成了三个层： 运维平台（IAAS）：主要提供基础资源的可伸缩性，比如网络、存储、数据库、虚拟化、IDC等，保证底层系统平台的稳定性； 技术平台（PAAS）：主要提供可伸缩、高可用的分布式事务处理和服务计算能力...基于该架构，线上压测、流量管控、灰度发布等以前难以实现的运维管控模式，现在能够十分轻松地实现。...为了保证蚂蚁花呗双11期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金
4、谁开发、谁部署、谁监控 传统做法通常是，开发人员开发完成、提交测试、测试通过、一个邮件或者内部群通知运维人员某天晚上11点以后开始部署，开发和测试人员在工位焦灼等待验证功能是否正常。...当团队成员都在参与需求识别、任务估算、软件开发的时候，团队中的运维人员需要在这个过程中识别开发团队的活动，做好数据库驱动设计、表结构设计、单机部署还是集群部署、是否存在有状态服务、比如不经常变动数据可能适合存储到关系型数据库...，查询频繁的数据更适合存储到内存数据库，这些都需要运维人员的参与和设计，并且能够提前做好部署和发布的准备； 当开发团队需要部署产品需要基础环境时，运维人员和开发人员一定要密切配合或者通过交叉培训的方式完成环境的搭建和部署...当然运维人员的组织还在原来集中式运维部门。 5、总结 通过对比传统运维和云时代运维，描述了运维和开发一体化的理念和方法。这个过程要求运维人员有更强的统筹和架构设计能力。...这些能力，对于云时代的运维不正是必备的吗？
版本上线后运维会进行测试，之后整个数据库的双写机制就会通过自动化运维体系建立起来。...但是这个过程需要运维团队有足够好的工具进行支撑，才能顺利完成。可以从图中看到，整个过程中有一些应用改造所需要的时间跨度很长，比如说持续超过一年，会有十几个批次需要进行去O改造。...整个去O过程持续两年左右，让我们团队对人员的要求有了全方位的变化，因为后续自动化运维体系和MySQL的运维都需要有一整套相对完善的自动化运维工具用作支撑。...全部转移到应用端处理吗？ A：存储过程的业务逻辑在应用层通过java重构，存储过程的数据库交互操作在应用DAL层实现，SQL写在mybatis里。 Q4：这个切换的批次是如何划分的？有什么方法吗？...Q11：请问自动化管理工具是用什么开发的？ A：Python，涉及到运维和开发两个板块。 Q12：请问你们的异步消息总线用的什么？ A：自研的日志解析器+消息中间件+管理平台。
1.1.3 稳定期（11-今） 12年1月：淘宝商城改为天猫 12年3月：唯品会上市 19年：天猫双11交易额2684亿 11年至今：天猫、京东、苏宁、国美、各大电商趋于稳定 1.2 业务模式 电商早期多以单体业务为主...这使得IT信息化部门一直处于『业务支持』的 职能位置，即只为了满足业务部门需求而进行IT系统建设的实施和运维部门。...：监控中心、资源管理、配置中心、发布中心、日志平台 自动化测试：任务协同、基础测试、性能测试、接口测试、持续集成 （运维中台的争议？）...1）方案 缓存集群：redis哨兵，集群，分片，pre-sharding，memcache一致性hash 数据库集群：一主多从、双主单写、灾备 （供销灾备双主单写案例） 2）特点 数据延迟：准实时...运维要求：需要运维层面的高度支撑，门槛比较高 预估风险：云瘫痪的故障造成的损失不可估量，（openstack垮掉的事故案例） 3 架构总结 1. 知行合一，做之前，先考虑意义 2.
割裂的云计算服务与其发展理念相悖； 北辰时代信息技术有限公司技术总监涂川：十四年从业经验看传统行业落地云计算现状； 沪江资深应用架构师王清培：Zookeeper 实现分布式锁安全用法； 蘑菇街技术总监赵成：给运维同学的一个转型建议...2024年视频在移动端流量占比将达74%或更高，将极大促进多媒体技术发展； 5G风起，CDN边缘计算将乘风破浪； 5G风起，未来数据库有哪些关键词？...iOS二进制重排启动优化； NGW，前端新技术赛场：Serverless SSR 技术内幕； Node部署和运维工作量降低80%，腾讯NOW直播是怎么做到的？...了解数据库分片（Database Sharding）； 磊哥测评之数据库SaaS篇：腾讯云控制台、DMC和小程序； 你的数据库，真的安全吗？...腾讯云数据库获全球“实力竞争者”； 自研数据库CynosDB可计算智能存储揭秘！ yarn 在快手的应用实践与技术演进之路； 腾讯数据库专家雷海林分享智能运维架构。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
