饿了么技术团队花了1年多的时间,实现了业务的整体异地多活,能够灵活的在多个异地机房之间调度用户,实现了自由扩容和多机房容灾的目标。本文介绍这个项目的整体结构,还简要介绍实现多活的5大核心基础组件,为读者建立基本的概念模型,后续会有系列文章陆续介绍每个组件的实现细节。读者能够从中了解到做异地多活的大方向,为实现自己的异地多活,或者是容灾备份提供参考。
在软件开发领域,「异地多活」是分布式系统架构设计的一座高峰,很多人经常听过它,但很少人理解其中的原理。
在软件开发领域,异地多活是分布式系统架构设计的一座高峰,很多人经常听到过他,但很少人理解其中的原理;
本文由公众号“水滴与银弹”号主Kaito原创分享,原题“搞懂异地多活,看这篇就够了”,为使文章更好理解,有修订。
在 Geo-Replication 的设计支撑下,其一,我们可以比较容易的将服务分散到多个机房;其二,可以应对机房级别的故障,即在一个机房不可用的情况下,服务可以转接到其它的机房来继续对外提供服务。
异地多活是近几年比较热门的一种系统架构。一般来讲,要做到异地多活,是一个系统性的事情,需要接入层、应用层、数据层都做一些事情。
本来这个公众号的交流消息中间件相关的技术的。这周去上海参加了QCon,第一次参加这样的技术会议,感受挺多的,所以整理一下自己的一些想法接公众号和大家交流一下。
跨地域复制是 Apache Pulsar 企业级特性的重要组成部分,它保证了系统的高可用,在操作和管理上也非常便捷,今天用 5 张图来带大家学习这个功能。
Hetzner Cloud 今日上线了新的美西机房,位于俄勒冈州(OR)希尔斯伯勒(Hillsboro)。对于国内用户来说相比于之前的美东机房物理位置更近,价格依然是3.85欧元/月起。最低配置为 2vCPU, 2G RAM, 40G SSD,全系月流量均为 20TB 。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。其原生支持了跨洲际级别的跨地域复制的解决方案,并结合其自身的 tenant 和 namespace 级别的抽象,可以灵活的支持不多种类,不同场景下的跨地域复制解决方案。 作者简介 范志会 腾讯数平高级运维工程师 目前腾讯公司内部业务在使用 Pulsar 的过程中,基于综合业务是否在线影响用户体检,是否产生营收影响,以及降本增效趋势下的成本考虑,会选择不同级别的
本文根据虢国飞老师在dbaplus社群【2019年1月5日数据架构与优化沙龙上海站】现场演讲内容整理而成,点击文末【阅读原文】可下载完整PPT~
网上关于这块的技术文章已经泛滥了,部分写得非常好,看着看着,就觉得自己太菜,感觉也没有下笔的必要了。但是,写文章也是一个梳理自身思路的一个过程,用输出倒逼输入,一直都是挺不错的学习方法,不然网上文章看完就不记得是马什么梅了,因此,还是决定写写自己对于这块技术的一些思考。
异地多活看字面意思 :不通的地方部署服务。前段时间发生的B站挂掉的事情,网上众说纷纭,有的说是有机房着火了,导致服务宕机。那对于这种突发的情况,我们应该如何应对呢?包括说有些地方地震了导致机房宕机等等。
随着业务发展越来越快,数据量越来越多,用户也越来越多,业务出现故障的几率也越来越大,而可用性是衡量一个系统的关键指标,application 由于是无状态的,可用性很好保证,当一个应用挂掉,直接切到另一个即可,最关键的是数据库的高可用,则是最复杂的。
同城异区两个机房距离一般就是几十千米,网络传输速度几乎和同一个机房相同,降低了系统复杂度、成本。
上海6月1日起全面恢复正常生产生活秩序,坚持“动态清零”总方针不动摇,全面实施疫情防控常态化管理。上海市内地面公交、轨道交通全网恢复基本运行,轮渡恢复17条航线运营。上海三大火车站也全部恢复运行,从上海出发的运行班次在有序增加,运力也逐步恢复。
coreapi (1.32.0+) - Schema generation support. Markdown (2.1.0+) - Markdown support for the browsable API. django-filter (1.0.1+) - Filtering support. django-crispy-forms - Improved HTML display for filtering. django-guardian (1.1.1+) - Object level permissions support
Eurake分区理解 大型项目如果存在多个机房,例如北京机房,上海机房,杭州机房等,上千个服务注册在Eurake上面,我们的事例也分别部署在各个区域。这时候,由于机房存在不同的区域,北京的一个服务如果调用上海的一个服务,就可能发生延迟,服务的响应速度也会慢很多,这时候,我们可能期望,北京的服务生产者调用北京的服务消费着,这该怎么去操作? Eurake其实有个分区功能,什么是分区,就是北京有一个注册中心,上海,杭州也有,这里就需要提到一个配置eureka.instance.region,可以设置多个注册中心,在不同的机房,每个机房可以有多个服务,在eureka.instance.availability-zones,设置北京不同的机房区域,最后在service-url注册地址,如何设置从哪个注册地址获取服务实例, 有个配置是prefer-same-zone-eureka,它如果是true,会从availability-zones第一个区域注册,如果注册失败,则继续向其他服务注册,如果注册三次失败,过一个心跳开启重试 如果prefer-same-zone-eureka是false,他会从service-uri拉取一个list,从第一个开始注册,如果注册成功,维持心跳,如果失败,则继续往下取。
如果大家记忆力不太差的话,那么应该会记得前段时间发生的全国性DNS解析故障:很多顶级域名被解析到了IP地址 「65.49.2.178」,导致中国互联网瘫痪了几个小时。不过在那起事件里一些移动客户端应用得以幸免,其原因在于它们使用了云端Hosts。
上篇文章我们总结了一下同城双活、异地多活、两地三中心等一些部署架构,那么这篇文章我来发表一下我对三地五中心的理解。 我们上篇文章讲过两地三中心这个架构,如下图:
本文讲述架构平台部 TVideo平台从资源,链路、缓存、接入进行调优,有效解决4k高码率视频的二次缓冲问题。
当谈到架构的高可用时,无论是高可用计算架构,还是高可用存储架构,其本质的设计目的都是为了解决部分服务器故障的场景下,如何保证系统能够继续提供服务。但在一些极端场景下,有可能所有服务器都出现故障。例如,典型的有机房断电、机房火灾、地震、水灾……这些极端情况会导致某个系统所有服务器都故障,或者业务整体瘫痪,而且即使有其他地区的备份,把备份业务系统全部恢复到能够正常提供业务,花费的时间也比较长,可能是半小时,也可能是一天。因为备份系统平时不对外提供服务,可能会存在很多隐藏的问题没有发现。如果业务期望达到即使在此类灾难性故障的情况下,业务也不受影响,或者在几分钟内就能够很快恢复,那么就需要设计异地多活架构。
无论是高可用计算架构,还是高可用存储架构,其本质的设计目的都是为了解决部分服务器故障的场景下,如何保证系统能够继续提供服务。但在一些极端场景下,有可能所有服务器都出现故障。例如,典型的有机房断电、机房火灾、地震、水灾……这些极端情况会导致某个系统所有服务器都故障,或者业务整体瘫痪,而且即使有其他地区的备份,把备份业务系统全部恢复到能够正常提供业务,花费的时间也比较长,可能是半小时,也可能是12小时。因为备份系统平时不对外提供服务,可能会存在很多隐藏的问题没有发现。如果业务期望达到即使在此类灾难性故障的情况下,业务也不受影响,或者在几分钟内就能够很快恢复,那么就需要设计异地多活架构。
摘要:今年除夕当日微信红包的参与人数达到4.2亿人,收发总量达80.8亿个,是羊年除夕10.1亿个的8倍。最高峰发生在00:06:09,每秒钟收发40.9万个红包。但是,红包大战受欢迎的程度和完美支撑
孟文超,携程技术中心框架研发部高级经理。2016年加入携程,目前负责框架数据(数据库,缓存)及相关项目。此前曾在大众点评工作,任基础架构部门通信团队负责人。
2022年1月26日,兴业银行发布《2022年上海新同城机房思科网络设备采购项目》招标公告,项目含税总预算 31,020,800.00 元。 标包1为2022年上海新同城机房网络设备-华京路搬迁SDN设备采购:采购含税预算为21,827,800.00元; 标包2为2022年上海新同城机房网络设备-存储交换机采购:采购含税预算为9,193,000.00元。 本项目允许投标人同时中标的最多标包数为 1 个。 注:投标人可参与2个标包的投标。评标顺序为先对标包1进行评审,评审结束后,进行标包2的评审。若已推荐为标
随着云计算的普及,越来越来的业务会选择上云,上云的第一步往往就是云资源的选购,选购云资源时(尤其是IaaS),通常都必须先选择地域Region和可用区AZ,那么我们应该如何选择呢?这两个概念与日常所说的数据中心又有什么区别呢?
早上毕玄转给我一个问题,vsearch在上海机房部署的应用,在应用关闭后,端口释放的时间要比杭州机房的时间长。
我们有些朋友是知道BuyVM 商家包含拉斯维加斯、迈阿密、纽约、卢森堡这四个美国机房。其中,老蒋也有在 「BuyVM 拉斯维加斯机房速度和性能综合测评数据记录」文章中对拉斯维加斯机房进行测评。在前面我们也有分享过BuyVM商家还有一个特殊的配置,这个在官方的主页中么有看到的,是流媒体专用的IP地址。
raft作为一个强一致性的集群共识算法,可以保证当集群多数节点存活时服务可用,但只能有一个领导者,有比较大的局限性。 若是使用同集群多实例方案,所有实例同生共死,当集群非多数节点存活时,所有实例均无法对外提供服务。
11月底,我正在准备12月10日在北京举办的2015中国存储峰会“云计算与业务连续性”分论坛的开场演讲材料,接到腾讯数据中心架构师李典林的电话,邀请我参加12月9日在上海举办的第二届腾讯数据中心分享日。 这意味着我必须在9日晚上从上海赶回北京。一则,典林兄的邀请通常难以拒绝;二则,“基石长固,腾云共舞:第二届腾讯云+数据中心分享日”的主题正对我的心思——10日演讲的主题已经确定为云计算基础设施(分享实录:云计算本是O2O)。 今年夏天,青云、阿里云和谷歌云平台(Google Cloud Platform,G
上次的网游加速文章发表后,有人留言问了机房的选择问题,这个不是一句两句能说明白了,我单开文章进行一下说明。
接着上篇《做容灾,双活、多活、同城、异地、多云,到底应该怎么选?》,这篇聊聊公有云上应该如何建容灾,跟我们自建机房有什么区别,没看过的同学,建议先从上篇文章看一下。
目前,腾讯云服务器有包括北京、上海、成都、广州、重庆、中国香港、日本东京、莫斯科、韩国首尔等十多个数据中心。对于亚洲数据中心老蒋之前有介绍过中国香港、新加坡机房,整体的速度还是比较好的。在今天这篇文章中,准备开通一台日本东京机房看看,主要是看看线路是否绕路,还是直连的。
本文根据吉翔老师在〖deeplus直播:甩掉技术债包袱,B站的SRE体系建设与转型实践〗线上分享演讲内容整理而成。
据机房360报道,6月18日,北京铁通亦庄瀚维云数据中心落成仪式在京隆重召开,铁通集团携手合作伙伴北京互联港湾公司向大家分享北京铁通亦庄瀚维云数据中心的战略意义与建设情况,引发业内对数据中心绿色节能的高度关注。 北京铁通亦庄瀚维云数据中心位于北京经济技术开发区,机房地理位置优越,远离强振、噪声和电磁场干扰源;空气质量良好,远离粉尘、油烟、有害气体等污染源;机房总建筑面积5726.4平米,按照国家标准A级建设,机房设计抗震烈度8级、地面承重14KN/㎡,高于移动集团最高规格数据中心10KN/㎡的承重标准。该数
老蒋在双十一期间选购到一台腾讯云轻量服务器(查看这里),虽然自己并不是需要服务器建站,但是本着好奇心和测试需要还是需要体验腾讯云新出来的轻量服务器产品。虽然我们也知道相比传统的云服务器基本上没有特别大的差异,只是商家在应用上可以满足一些技术能力一般的用户提供的差异化产品。
如今,国内云服务器市场竞争是异常激烈,送走双十一、黑色星期五,又迎来双十二。前天我们有看到阿里云双十二活动又开始忽悠新用户,推出的活动相比双十一是稍微不是那么给力,但是相关的政策和套路,还是应该能完成他们预料的KPI考核的。在双十一期间的活动中,比较有诚意的还是腾讯云商家的活动,其中有一款三年1449元的配置,5M带宽、8GB内存、2核CPU,当然是只可以选择几个国内的机房。
随着互联网+的发展壮大,云计算和数据中心相互依存的关系变得尤为重要。12月9日,第二届腾讯云+数据中心分享日活动在上海隆重召开,腾讯高层与工信部领导、各地金融机构客户、腾讯云投后公司、腾讯的运营商及合作伙伴齐聚一堂,针对当前存在的云计算与数据中心问题,以及其未来发展方向进行了深入探讨。10日,与会嘉宾将参观腾讯云位于上海浦东的金桥数据中心,切身感受腾讯云现代化云数据中心的变革之道。 (腾讯公司副总裁、腾讯云负责人邱跃鹏演讲) 基石长固 做数据的承接器随云而上 作为支撑云计算与大数据发展战略的关键,迎合
随着互联网+的发展壮大,云计算和数据中心相互依存的关系变得尤为重要。12月9日,第二届腾讯云+数据中心分享日活动在上海隆重召开,腾讯高层与工信部领导、各地金融机构客户、腾讯云投后公司、腾讯的运营商及合作伙伴齐聚一堂,针对当前存在的云计算与数据中心问题,以及其未来发展方向进行了深入探讨。10日,与会嘉宾将参观腾讯云位于上海浦东的金桥数据中心,切身感受腾讯云现代化云数据中心的变革之道。 (腾讯公司副总裁、腾讯云负责人邱跃鹏演讲) 基石长固 做数据的承接器随云而上 作为支撑云计算与大数据发展战略的关键,迎合市
在云计算和大数据遍地开花的今天,很多个人及企业级客户对自己的数据存放环境并没有一个很直观的认识,包括电商从业者(云主机,云空间),私有云、公有云及混合云企业用户等。 数据中心内部结构繁多、组成复杂,经多年行业积累,客户在选择数据中心时主要关注数据中心等级、选址标准、建筑与结构、电力、暖通、消防、监控和网络这几个方面。 数据中心内部整体结构 数据中心分级标准 在国内标准《电子计算机机房设计规范》(GB50174-92)中主要从机房选址、建筑结构、机房环境、安全管理及对供电电源质量要求等方面对机房分级,可分
腾讯云服务器地域有什么区别?云服务器地域怎么选择?地域是指云服务器所在机房的地理位置,用户距离地域越近网络延迟越低,速度越快,所以地域就近选择即可。广州上海北京等地域网站域名需要备案,中国香港或其他非中国大陆地域的云服务器不需要备案。云服务器吧来详细说下腾讯云服务器地域和可用区的选择方法:
1、事件背景 《上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划(2018-2020年)》的通知,引起了数据中心基础设施圈内各个层面的人热烈解读,从中,有人看到希望,有人看到了危机,有人看到了数据中心发展的趋势,有人看到了上海有关部门对数据中心的态度。 其中有一段话,深深的吸引了大家的眼球,是关于基础设施的要求:推进数据中心布局和加速器体系建设。统筹空间、规模、用能,加强长三角区域协同,布局高端、绿色数据中心,新建机架控制在6万个,总规模控制在16万个。推动数据中心节能技改和结构调整,存量改造数据中心PUE不高于1.4,新建数据中心PUE限制在1.3以下。开展计算资源布局规划和资源配置方案研究,实施技术试验及模式研究。依托数据中心布局,建设基于中央处理器(CPU)、图形处理器(GPU)等的计算中心,面向人工智能的计算加速资源占新增数据中心机架总量的50%。 其中最让人揪心的,是新建数据中心PUE限制在1.3以下,这个数值代表什么,对数据中心行业熟悉的人们都心里有数,那是上海有关部门对节能的极致追求,如果按照传统的成熟方案进行设计,几乎是不可能达到1.3的要求的,那就是要逼迫从业者采用更加有效的节能方案。 由此,可能给全国数据中心行业带来一次节能技术的革命。 2、PUE的前世今生 首先,让我们来看看PUE的由来,在2007年的时候,美国绿色网格(The Green Grid,IT专业人士的非营利性贸易组织,旨在满足数据中心和整个信息服务交付生态系统的电力和冷却要求,不支持任何特定于供应商的产品或解决方案,提供有关旨在提高整体数据中心效率的最佳实践,指标和技术的建议。)为了更好地了解和提高现有数据中心的能效,认识到建立数据中心效率指标的重要性,并由此为提高每瓦性能的技术指导提供理论支持。理想情况下,这些指标和流程将有助于确定在需要新数据中心之前是否可以优化现有数据中心。由此,提出了PUE的概念,即Power Usage Effectiveness(能源使用效率),从那时起,PUE已在业界得到广泛采用。 下面来看PUE的定义:能源使用效率,数据中心IT设备和配套基础设施的电量或能量和除以由设计人员按企业采用的标准计算获得的IT设备电量或能量之和。业内一般通用的,多指整个数据中心包括IT设备和配套基础设施的年耗电量除以IT设备年耗电量。 PUE计算公式如下: PUE =机械负载系数(MLC)+电气负载系数(ELC)+ 1.0 这里所有因素都是按IT负荷除以的比率: •1.0表示标准化的IT负载。实际上,这是IT负载因子(ILF),但始终为1.0。 •机械负载系数(MLC)是制冷设备、泵、风机等消耗的总能耗除以IT能耗,如下:
随着企业上云率提升,更多中大型企业选择公有云+私有云的混合云模式,兼具公有云成本低、敏捷、灵活、使用方便及私有云可控、安全、高可用部署的优点。而混合云管理功能的上新能够支持客户接入非腾讯云机器,帮助用户更好地统一管理和监控主机安全。
最近一段时间,我们可以看到腾讯云服务器促销活动力度还是比较大的。从10月份开始不间断的以秒杀促销活动为主,尤其是我们需要较长时间云服务器的网友购买三年服务器是最为划算的,其中还有高达10M带宽的云服务器。如果这样的配置在平时这样的成本肯定是买不到的。
如果是第一种场景,数据迁移过程中可以停止写入,可以采用诸如elasticsearch-dump、logstash、reindex、snapshot等方式进行数据迁移。实际上这几种工具大体上可以分为两类:
科技圈最火的新闻应该是“AWS中国区光缆被挖,导致三星、小米等众多企业服务不可用”。 又是光缆被挖,咦!?为什么是又,让我们来一起回到过去:
6月19日,鲜枣课堂创始人小枣君在CIOE微课堂与大家分享《5G边缘计算的发展与应用》,他分享并讨论了边缘计算的概念、边缘计算与5G的关系及5G边缘计算的应用。以下是光博君整理的完整版课程回顾。
领取专属 10元无门槛券
手把手带您无忧上云