展开

关键词

系列(五)——数据库建设

本文主要从数据库方案视角,基于当前客户业务并结合技术&产品,制定最佳方案。 主要从以下三个方面来介绍:方案设计要素云上方案云上客户案例1.方案设计要素数据库方案设计要素主要数据同步,数据一致性以及数据修复三个方面 。 平台方案客户业务场景最常用腾讯云数据产品主要是redis,cdb,mongoDB以及TDSQL。 同时升级为多可用区能力,会引入以下风险因子业务时延会有3ms左右网络延时,tdsql在proxy到db无就近原则极端情况下主从一致性问题概率变大跨可用区网络抖动会导写业务hang住同地域不同AZ会存在3ms网络延时,实现建议这里性能进行取舍 ,对于2和3的诉求点,结合tdsql产品提供建议。

32892

系列(三)——云网络建设

IDC时代,业务对网络参与较少,主要依赖数据中心网络建设程度;当到了云的时代,云服务商将底层网络能力产品化后,云上客户更多参与网络建设,提升业务稳定性。 本文从云网络概述,云网络复杂度以及典型案例来介绍云网络建设。1.云网络概述云网络概述主要分为云服务商基础设施网络架构和云产品两部分,让云上客户更加深入了解云网络,用好云网络。 如果业务对网络延时较为敏感,通常是添加中间或者缓冲层来降低延时。2)跨区或者跨地域云基础设施能力。 通常云服务厂家数据中心建设均有能力,这里建议还是选择大厂。 混合云模式,这里考虑到IDC和云上线路情况,一般建议两条专线接入不同的POP点来进行建设;同时建立VPN或者GRE公网逃生通道来紧急恢复业务。 image.png3.2 混合云网络混合云网络分为两个部分:1)idc和云机房之间线路,主要线路分为专线和VPN。

41692
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年50元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    客户案例—zookeeper迁移方案

    statusJMX enabled by defaultUsing config: usrlocalwebserverzookeeper-3.4.6bin..confzoo.cfgMode: follower 将其扩为 STOPPED 修改其配置文由原来的1234server.1=10.1.24.110:2888:3888server.2=10.1.24.111:2888:3888server.3=10.1.24.112 STOPPED 修改配置文123456server.1=10.1.24.110:2888:3888server.2=10.1.24.111:2888:3888server.3=10.1.24.112: 台且不包括原本myid为1-2的机器,就完成了迁移将5台缩小回3台修改idc02-kafka-ds-02根据前面的注意事项,我们此时5台集群中启动的数量不得少于3台,因此我们需要先修改3-5号机器的配置文为 STOPPED 修改配置文为1234server.3=10.1.24.110:2888:3888server.4=10.1.24.111:2888:3888server.5=10.1.24.112:2888

    25350

    系列(六)——数据存储建设

    数据存储建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢? 举个例子,业务数据存储在COS,如果该地域出现地震等极端难,COS所在机房被外力摧毁导致业务数据全部丢失,属于数据可靠性范畴;同样如果COS机房网络出现波动或者机器出现负载,导致客户端请求数据出现延时高或者中断 image.png注意事项:CBS三副本是可用区粒度,即AZ粒度,例如云侧北京有六个可用区,如果出现可用区粒度的极端情况,例如地震火,CBS三副本数据可能会丢失。 3.完成整个分块上传,当使用 Upload Part 上传所有分块完成后,必须调用该 API 来完成整个文的分块上传。 通常情况下,如果分块上传失败,客户端会放弃这个文,重新发起新的上传任务,而且采用分块上传文一般均为较大文,为此浪费时间来重试,同时效率也较为低下;为此业务侧如果记录了之前uploadid,通过调用

    26662

    备知识总结:与备份区别、备技术、体系规划

    错(Fault Tolerance):指在计算机系统的、硬发生故障时,保证计算机系统中仍能工作的能力。 区别:错可以通过硬冗余、错误检查和热交换 再加上特殊的来实现,而必须通过系统冗余、难检测和系统迁移等技术来实现。 现在的系统都包含着难恢复的功能,所以本文的讨论除了包括方面的内,还包括了 难恢复的部分内。高性能、高可用平台架构的演变过程。 :企业信息系统可能遇到的难类型及其发生的比例如下:对于“人为错误”、“损坏和程序错误”加上“病毒”等这些都称为逻辑错误,占总故障的 56%,这些错误只能通过备份系统才能防范;对于“硬和系统故障” 2.1 卷管理备技术?2.2 数据库日志复制技术?2.3 数据库备技术?3.1 应用备技术?11.体系结构规划?系统正常运行?生产中心单台主机宕机?生产中心所有主机宕机?生产中心回切?

    65920

    系列(四)——业务应用层建设

    综上所述,本文从云平台视角出发阐述应用层业务建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。1.应用概述1.1 应用部署应用是否满足跨地域可用区部署? 应用层调用链是否能接受跨区延时,如果业务无法接受跨区,该业务做只能set化部署,这里需要强大中间团队开发数据同步系统。 应用层调用链能接受跨区延时,一般以试点业务先观察,小步迭代方式逐步构建能力。 切换强依赖于调度系统以及配置系统稳定性。这里稳定性主要包括系统能力和性能;遇到大规模故障,大量信息配置变更请求调度系统和配置系统要能扛住洪峰,是保障这个方案的根基。 2.应用复杂度计算应用层,主要考虑以下两个方面:哪些节点执行任务。这里要区分清楚哪些节点执行核心业务,这里会引入不同的复杂度。

    41261

    服务的

    引子先介绍几个概念,同步一下认知::是指系统冗余部署,当一处由于意外停止工作,整个系统应用还可以正常工作。错:是指在运行中出现错误(如上下游故障或概率性失败)仍可正常提供服务。 从要求的严格程度上:可用性服务部署隔离    环境拆分    机房隔离    通道隔离    单元化    泳道    热点隔离    读写隔离    器隔离    拆库拆表    动静隔离    非核心流量隔离

    1K20

    英方挂牌,云备市场量或将大爆发|新三板

    2009 年 70% 的复制市场都为传统存储厂商所占据,另外一部分则为数据复制厂商所占有。 备行业客户通常具有较高的品牌认同感和忠诚度,往往对长期使用的备企业存在路径依赖。品牌也成为新进入企业的一个无形壁垒。 备行业其客户更换的成本较高,导致该行业存在客户积累的壁垒较高。 高可用产品及服务:英方面向行业高端用户和区域用户,提供高可用,采用英方创新的解决方案解决用户业务连续和数据保护问题。 商业模式公司是一家专注于提供及业务高可用解决方案的技术厂商,拥有字节级数据捕获、实时数据复制、持续数据保护等先进核心技术与项目经验。截至报告期末,公司拥有 9 项著作权。 公司以专业、前沿的技术和优质服务取得差异化竞争优势开拓市场,向客户提供一体机和云备互联网平台服务以获取利润。(一)盈利模式公司通过向客户提供数据及业务连续性相关的服务或产品获取销售收入。

    60340

    中间PaaS层组方案及实践

    业务系统高可用、可扩展、能力决定企业系统的连续性,中间作为构建企业核心系统的重要组成部分,其高可用能力也将决定应用系统的。 本文结合腾讯云中间各PaaS产品的能力及实践,以一个行业头部客户业务实践举例,来展开说明基于腾讯云中间PaaS层相关产品的实践。 下面就分别对Ckafka、ES、Redis云产品在客户业务场景中的相关案例。Ckafka的能力可以分为:跨可用区及跨地域级。 ES跨可用区 ES的部署模式可以分为:大集群节点跨区部署、跨区复制CCR 2种模式。 确保客户自建ES集群没有安装腾讯云ES集群不支持的插。云上集群的配置名称需要和自建集群保持一致。 Redis跨区方案 Redis主要分为主从和集群。

    1.4K6010

    与集群(1)

    在上一篇:微分布式云计算框架Orleans(1):Hello World,我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello World吧,Orleans是为分布式和云计算而生的框架,那么今天我们就简单说一说、集群、与集群在Orleans中的运用。 是什么? 技术是系统的高可用性技术的一个组成部分,系统更加强调处理外界环境对系统的影响,特别是难性事对整个IT节点的影响,提供节点级别的系统恢复功能。 和集群的关系? 个人认为是一种需求,目的,目标,而集群是一种技术手段,使用集群可以提供可用性和可缩放性,那么也解决了的问题,当然方式不仅限于集群镜像站点也能解决问题。

    60540

    系列(一)—— 云上业务方案要如何选?

    本文从概念,决策因素,典型案例和方案对比进行说明,希望方案的选择有所帮助。1.概念将这个词,分开来看“”和“”。 从某种意义来讲,无论是自建idc还是云厂家在建设数据中心时候都不能无限大,在物理机房限制条下,如果业务发展足够好,就会存在资源不够,扩展受物理设施限制。 3.1 异地异地的核心特征:1)范围:地域粒度的。2)流量分布:单地域承载100%业务流量。3)数据存储:数据库以及存储均在异地做冷备,数据单向同步。 image.png3.2 同城同城根据数据写入方式分为单写或者双写;单写称为半双活,双写称为双活。3.2.1 同城半双活(单写)同城半双活核心特征:1)范围:可用区粒度。 以下是某云上智慧零售企业同城半双活架构:1)接入层和服务层均两个两个可用区1:1数量同规格部署,通过业务域名解析来承载业务2)中间和数据层均使用云上跨az产品能力,如果存量是实例为单可用区,在控制台升级为多可用区

    1.2K93

    数据中心精讲(常见的建设模式)

    当前,市场上常见的模式可分为同城、异地、双活数据中心、两地三中心几种。 同城同城是在同城或相近区域内(≤200KM)建立两个数据中心:一个为数据中心,负责日常生产运行;另一个为难备份中心,负责在难发生后的应用系统运行。 同城难备份的数据中心与难备份中心的距离比较近,通信线路质量较好,比较易实现数据的同步复制,保证高度的数据完整性和数据零丢失。 同城难备份一般用于防范火、建筑物破坏、供电故障、计算机系统及人为破坏引起的难。异地异地主备中心之间的距离较远(>200KM)因此一般采用异步镜像,会有少量的数据丢失。 由于同城难备份和异地难备份各有所长,为达到最理想的防效果,数据中心应考虑采用同城和异地各建立一个难备份中心的方式解决。

    7420

    知识知多少

    为什么要做?你知道吗?自然害、设备故障、人为因素等都会造成业务中断。如今数字化时代,IT系统故障更会对公司业务造成难以估量的巨大经济损失。 3关键词RPO(Recovery Point Objective)数据恢复点目标,主要指的是业务系统最大能忍的数据丢失量。 体系介绍1数据中心集团公司通过两地建立三个数据中心,通过双活、冷备等方式,实现两地三中心架构。 端到端双活恢复能力 RTP≤10min RPO≈0min系统在两个地理节点部署所有组并同时承载业务,当其中一个地理节点的系统组发生故障时,部署于其它地理节点的系统组可以及时完成业务接管。 演习要求每年进行演练,所有核心业务与平台系统均要参演。 异地备恢复、同城双活切换、一键式自动化启停等恢复方式不断创新,要求演习规模逐年扩大和恢复效率逐年提升。- End -----

    13520

    系列(二)—— 企业借助云平台“一站式”建设?

    当企业内部经过评估选定建设整体方向,即同城双活;需要对方案进行验证,包括组能力建设,数据同步以及切换验证等。 通常对组能力建设和验证会花费大量时间,如果测试不符合预期,对之前调研、部署以及测试人力和时间成本带来较大耗费。因此借助云平台能力“一站式”提升系统能力,助力企业降本增效。 本文也平台能力建设优势、云上典型方案以及一站式构建三个方面来进行详细的说明。1.云平台建设的优势借助云平台能力有效提升建设效率,同时能减少建设成本。1)降低建设的技术门槛。 云上核心产品拥有跨地域或者跨可用区能力,减少企业对众多开源方案的依赖和研究,同时还能得到云产品的SLA稳定性的保障。2)组HA切换能力建设。 云上通过控制台便捷的操作,一站式进行建设;同时减少对社区开源维护以及二次开发的人力成本。

    32031

    业务切换案例

    是确保系统可靠性很重要的一环,一般分为:产品,业务。 业务,指的是从业务系统出发,对业务系统、中间、网络、计算资源进行全面部署。确保整个应用及应用所依赖的组能够在某一个区域出现问题的时候,能够正常调度到其他正常的区域。 本文主要讲下业务步骤及切换方案。 业务过程分位几部分: 1、评估。需要深入业务系统,对系统架构,,外部依赖,运行网络、计算环境进行了解评估。 2、方案。 根据业务架构及部署实际,规划出应用、各组、网络计算方案。 3、实施。根据方案进行具体的实施。 4、切换演练。制定切换步骤,应急预案。 应用已经切换到备去区去了,但是底层中间是,数据库组还是在主区。第三步,开始切换各个中间。也是通过切换接入域名的方式,实现备去的应用访问备去的中间

    8741

    《SSM篇》《小项目2》

    14220

    演练-故障切换

    设计需要进行故障切换的场景设计过程当中需要考虑的故障切换的场景有很多,数据中心内部的高可用切换不在本次讨论范围之内,我们讨论的是恢复过程中的关键跨数据中心级的故障切换场景,从网络层到存储层都会涉及到 其实从的角度来看,相互独立的小集群LB资源池和跨数据中心的大集群LB在切换功能都是合格的,APP节点故障无论是在大集群和小集群架构下,都可以合理切换。 当然这种策略的可行性还需要两个前提条:① 数据中心之间的L2层的打通,目前隧道技术相对比较成熟。② 数据层的双副本或者多副本技术(如分布式存储技术),毕竟状态、会话、缓存也是数据。4. 4.2 HA数据库服务模式所谓 HA数据库服务模式是指通过操作系统HA结合数据库服务实现的架构,架构设计之初是为了实现各类应用服务的本地服务器高可用,但双活技术兴起之后,也常常被用来作为近距离 (百公里内范围)双活的数据库服务架构 。

    13830

    UIT信息概论(3)

    基于国标规范GBT20988的等级划分GBT20988的定义与Share78思路相同,区别在于取消了Share78的Tier1,同时对各级别的内、标准做了更详细的定义,相比较而言具有更实际的参考意义 备用数据处理系统 — 备用网络系统 — 备用基础设施 有符合介质存放条的场地。 备用基础设施 a) 有符合介质存放条的场地; b) 有满足信息系统和关键业务功能恢复运作要求的场地。 备用基础设施 a) 有符合介质存放条的场地; b) 有满足信息系统和关键业务功能恢复运作要求的场地。 专业技术支持能力 在难备份中心有专职的计算机机房运行管理人员。 运行维护管理能力 a) 按介质特性对备份数据进行定期的有效性验证; b) 有介质存取、验证和转储管理制度; c) 有备用计算机机房管理制度; d) 有备用数据处理设备硬维护管理制度; e) 有电子传输数据备份系统运行管理制度

    18420

    mysqldump备份脚本(上)

    一.备份脚本环境需求编辑etcmy.cnf文添加在版块下添加如下变量,添加后重启服务#开启,并且可以将mysql-bin改为其它的日志名log-bin=mysql-bin#添加id号,如果做主从,就不能一样 server-id=1#超过200M将生产新的文,最大和默认值是1GBmax_binlog_size=1G#此参数表示binlog使用最大内存的数,默认1M。 set GLOBAL expire_logs_days=7;注意:设置之后并不会立即执行,需要如下条手动执行flush logs(注意,如果binlog文过多会引发IO问题,并且flush 也不会同步到从库 )重新启动时(MySQL将会new一个新文用于记录binlog)全量脚本mybak-all.sh,对脚本变量部分进行配置#! >> ${log_dir} exit 1fi#整理压缩的日志文for i in `ls | grep .tar.gz$` do echo $i | grep ^mybak-all.

    8700

    mysqldump备份脚本(中)

    binbash#使用:.xx.sh -uroot -p123456,将第一次增量备份后的binlog文名写到tmpbinlog-section中,若都没有,自动填写mysql-bin.000001#过程 #提示:最多每分钟执行一次,否则会覆盖同分钟内的文,可以修改脚本来改善# 出现问题会退出,可以到指定的日志目录查看日志输出# 同年的tar包超过指定天数的会删除掉#begin_time=`date + {print $2}`do if ];then usrbinecho time:$(date +%F-%H-%M-%S) error:binlog文${i} 不存在 >> ${log_dir} exit usrbinrm -irf mybak-section-${bak_time}if ];then usrbinecho time:$(date +%F-%H-%M-%S) info:删除sql文失败 >> ${log_dir} exit 1fi#整理压缩的日志文for i in `ls | grep ^mybak-section.

    11300

    相关产品

    • TDSQL PostgreSQL 版

      TDSQL PostgreSQL 版

      TDSQL PostgreSQL版是腾讯自主研发的分布式数据库系统。集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身。采用no sharding 的集群架构,提供容灾、备份、恢复的能力。并完整兼容PostgreSQL与Oracle数据库。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券