专栏首页腾讯云存储腾讯云存储跨园区同步方案

腾讯云存储跨园区同步方案

作者介绍

孙伟:腾讯云高级技术工程师,主要负责腾讯云存储和中间件产品的技术支持专项工作。有8年以上的云存储技术支持、数据迁移和架构方案经验。曾任职于其他云友商公司,担任过研发、产品改进、售后等多项工作岗位。

异地同步方案有多种方式,本文主要讲述通过对比多种同步方案,来展示每种方案的优缺点,最终总结出一套实现跨园区(region)且高可用的异地同步方案。

01

同步方案一览

02

各同步方案对比

2.1 方案1:跨区域同步能力

针对于强数据一致性的同步场景,跨区域复制功能可以很方便的通过控制台配置来实现数据的跨园区同步。

此方法优点:配置简单,控制台可视化。

此方法缺点:数据强一致性,仅适合对象同步,不含逻辑处理的场景。

2.2 方案2:工具周期同步能力

针对于实时性要求较高的同步场景,使用migration工具可以实现自定义时间同步策略。

此方法优点:可配置的轮询时间周期,同步内容与日志直观可见。

此方法缺点:依赖于CVM/客户端资源,受限于中转主机带宽资源,配置较复杂。

2.3 方案3:回源拉取同步能力

针对于热数据同步的场景,部分数据同步,降低存储成本。

此方法优点:配置简单,仅热数据被同步,节省存储空间。

此方法缺点:第一次访问会被302重定向源站,源站带宽有开销,只能被动同步,不能主动全量同步。

2.4 方案4:SCF事件触发同步能力

适用于大规模且实时性较高的数据同步,以及业务逻辑较为复杂的同步场景,比较值得推荐的方法。

此方法优点:利用SCF来实现高性能的数据同步操作,通过SCF来部署代码,具备完善的监控和日志体系,可实现较为复杂的业务同步逻辑。

此方法缺点:需要一定的编码能力,需要对VPC、SCF、COS等多种产品非常了解,配置较为复杂。

03

高可用数据同步方案

通过数据同步方案4的架构,结合COS自身特点与相关产品的功能,我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图:

数据高可靠:通过上传至Master桶后,可实现实时跨区域数据同步,确保数据主从分离,天然支持业务层多副本冗余,提升数据可靠性。

  • 因采用底层存储多副本和纠错码机制,单桶的可靠性可达99.999999999%;
  • 通过多桶实时同步方式,可将数据中心分散至多个园区,执行不同的策略或授权,进一步降低误操作等一系列人为故障;
  • 通过SCF结合主流云服务提供商API,可实现多云的数据同步,进一步提升数据安全性;

服务高可用:通过多桶串联同步+CDN多源站机制+COS回源拉取,提升服务的连续性与健壮性。

  • SCF 上传触发事件为created事件,在数据上传完成后触发,确保待上传的数据完整;
  • 采用COS回源功能,能确保在资源上传Master后,但未同步至Slave和Backup节点时出现的数据访问失败问题,提供连续性的数据访问能力;

容灾能力:跨园区的多中心/多云策略,可最大限度避免大规模线路故障或服务提供商带来的影响。

  • 多园区中心同步,通过中心节点互备,可避免局部性的运营商线路问题;
  • 结合CDN产品,可提供多源访问,进一步避免局部运营商问题;

故障切换能力:丰富的多节点入口,可提供灵活的数据源切换,提升灾备切换能力。

  • 结合智能DNS,监控等手段,用脚本自动化方式来实现故障的自动切换;

04

各方案测试对比

准备1个51MB文件,上传后查看同步效果。

跨园区复制

跨区域复制,同步所用的时间为0秒。

COS Migration工具

Migration工具轮询间隔设置为1秒等待,同步所用的时间为22秒。

回源拉取

同步所用的时间为4秒。

SCF事件触发同步

同步所用的时间为10秒。

05

结论

从测试结果看出,单从时间同步效率从高到低为:

跨地域同步->回源同步->SCF事件同步->Mig工具同步;

这几种方式满足不同需求场景,同步的性能也略有不同:

  • 如果数据量不大,且希望自主控制同步时间,推荐使用“Migration工具同步”。
  • 如果希望实现跨地域灾备,对象完整备份,实时性要求很高,推荐使用“跨地域同步”。
  • 如果希望热数据同步,并结合腾讯云CDN产品,且源站带宽资源可靠,对用户提供无缝访问服务。推荐使用“回源同步”。
  • 如果需要实现自有业务逻辑,多目标同步,对扩展性、性能都有一定要求,同时也希望节省一定外网流量费用,综合从这几个方面看。性价比较高且经济实惠的方式推荐为“SCF事件同步”。

原文发布于微信公众号:腾讯云存储(关注有惊喜)

本文分享自微信公众号 - 腾讯云存储(gh_30cb70e39822),作者:wainsun

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用COS和SCF玩转人脸识别

    如果用"云"上的话,就是用云的概念解释,腾讯云对象存储提供的是面向非结构化数据,支持HTTP和HTTPS协议访问的分布式存储服务,它能容纳海量数据并保证用户对带...

    云存储
  • 将 Discuz! 论坛远程附件存储到腾讯云对象存储COS上

    Discuz! 论坛可以通过配置远程附件功能将论坛的附件保存在腾讯云 COS 上,将论坛附件保存在 COS 上有以下好处:

    云存储
  • 使用 SCF 自动刷新被 CDN 缓存的 COS 资源

    本实践将引导您在使用腾讯云对象存储 COS 上传对象时,借助云函数 SCF 实现自动刷新在 CDN 上指定的缓存文件,让其自动获取到更新后的资源。

    云存储
  • 项目同步管理法 - 设计师辅技手册(三)

    腾讯ISUX
  • 数据同步系统需要解决的问题

    简书主页:https://www.jianshu.com/u/756c9c8ae984

    JouyPub
  • 如何优雅地更换电脑

    本文由腾讯云+社区自动同步,原文地址 https://stackoverflow.club/article/change_computer_gracefully...

    羽翰尘
  • 基于时间触发以太网的AS6802时间同步协议的设计与实现

    随着分布式系统的发展,系统中设备之间数据交互的实时性、可靠性以及高安全性需求更加迫切,使得以太网技术无法适用于相应的业务领域。时间触发以太网将时间触发技术的...

    网络交换FPGA
  • 大文件同步时 同步慢、同步中断怎么办?

    现代企业中,企业结构分散化不断扩大,比如多个研发中心、多个分支机构等等,企业需要把内部各种业务数据在多台服务器之间、多个数据中心之间,乃至多云和本地之间调度和同...

    企业文件数据交换
  • 以太网中时间同步的那点事

    对于普通人来讲,时间就是大脑神经元中记忆碎片构建的意识。正是由于神经元的记忆特征,才能在“现在”随时的回忆“过去”。也就是说“过去”存在于“现在”之中,“过去”...

    网络交换FPGA
  • Linux NTP时钟同步

    时钟同步在大数据方向,用到的地方很多。举个例子来说吧,像Zookeeper、RegionServer服务都是需要实时和各节点进行通信的。假如各节点差超过30s,...

    create17

扫码关注云+社区

领取腾讯云代金券