[喵咪海外部署]海外部署访问技术探索

[喵咪海外部署]海外部署访问技术探索

当一个公司在开展海外业务的时候,对他的技术就有了挑战,因为海外用户访问会遭遇到各种问题(比如网络丢包,延迟高,国内防火墙等问题),喵咪现所在的公司从去年开展全球化业务至今,在技术上也做了很多探索,在这里和大家一同交流下经验希望可以帮助到大家或正在为全球化苦恼的小伙伴们.

PS:没有终极解决方案,只有最符合公司现状和当前业务类型方案,需要结合目前状态选择符合成本的方案

附上:

喵了个咪的博客:w-blog.cn

1.海外访问的问题是什么

在开展海外业务前期,基本上大部分服务都部署在国内环境(相信这也是大部分公司的选择主要用户是国内用户),但是随着公司的扩大产品的成熟,产品被海外用户开始使用,公司也带着产品参考海外的展会或者给客户演示,这个时候就会发现严重的问题:

  • 海外根本无法正常访问国内业务
  • 响应时间特别慢很难接受(类似于不翻墙打开一个国外的网站的感觉基本10秒左右)
  • 文件下载速度只有20kb/s,下载业务文件要2个小时

大致遇到的就是上述这类问题,通过这类问题就有了今天全球化系列

2.应该如何应对海外访问问题?

之后喵咪也在拼命的学习寻找方案,关于海外访问大致可以分为如下几种方案(方案直接可以互相结合并非一种就能解决所有问题比如主节点在海外在加上网络链路优化):

2.1 海外部署节点

首先想到的方案就是为什么不在海外部署节点,这也是大多公司同事给出的建议,但是其中的代价只有实施的人知道,海外部署节点又分为几种方式:

以阿里云举例,在查看ECS列表的时候如果选择海外比如德国的服务器,网页会跳转到德国的网络上去(aws等云厂商基本都是此类方式) 域名从ecs.console.aliyun.com -> ecs-eu-central-1.console.aliyun.com

因为数据的区别海外节点有分为这么几类,完全独立节点,海外独立数据中心或一套数据同步到海外,这几类方式都能很大程度的优化海外用户访问,但是也存在问题 (在喵咪之前的文章中有一个名为otter的阿里开源软件就是来解决数据同步问题)

完全独立节点

  • 管理成本高,管理人员需要对国内外管理区分甚至国外有多个管理平台进行开发
  • 数据不通导致汇总统计复杂

独立数据中心(例子:各大云厂商)

  • 独立数据中心受限于业务,业务需要有相对的独立性
  • 国内用户使用海外服务或海外用户使用国内服务还是会出现此类问题(如国内使用阿里德国节点明显慢很多)

数据同步到海外

  • 数据通过国外会遇到数据库双写问题复杂度高,涉及数据结构大量修改
  • 同步延迟数据冲突问题,海外创建记录test,国外也创建记录test本地因为都没有test记录创建成功在同步的时候会发现冲突

独立数据中心也好还是数据同步也好都需要公司的技术能力比较健壮,技术成本依赖低的后续方案会更加合适,在业务还不稳定在奔跑中的公司不建议使用

2.2 网络优化海外访问

这类方案在很多云厂商或者cdn厂商中提供的最普遍,比如阿里云的高速通道海外加速,网宿科技的APPA,ucloud的高速通道等,这个方案主要解决的是海外网络波动对用户的影响,用户首先访问到海外的节点延迟很低,让后通过海外的节点通过专线等方式访问到国内,极大程度降低了丢包断链等问题

优点

  • 技术成本低,无需业务作出任何的改变
  • 离得远延迟高的响应速度不块,但是能够保证用户的访问

缺点

  • 无法解决延迟高的问题只能优化,用户依旧会感觉卡顿
  • 选用云厂商的服务往往都特别的贵

(网宿科技的APPA类似于AWS的动态分发与高速通道不同,海外你无需在准备自己的中转节点,它本身会有很多个海外节点帮助你中转)

3.实践

上面两类方案一个技术成本高,一个经济成本高,就没有一个好办法吗,由于公司没有专门的海外技术小组所以使用第一种方式代价太高成本有些难以接受见效周期长,不太适合现阶段,那么第二个成本这么高20MB国外高速通道一个月要3W块也挺难接受的,所以先找到问题的根源,在了解解决方案的思想在进行解决

3.1 海外根本无法正常访问国内业务

无法正常访问国内业务的罪魁祸首就是网络丢包或网络不稳定的问题,通过ping值测试除了中国周边地区外,基本上海外直接ping国内都会出现丢包,巴西丢包率高达39%(难怪无法访问),但是通过测试发现海外节点大部分于新加坡的网络支持良好基本上无丢包现象(到国内丢包39%的巴西都很稳定),而且国内到新加坡也比较稳定,所以考虑使用新加坡来中转国外的请求回到国内来解决请求过程中丢包导致无法使用的问题

并且在通过各项链路优化数据来降低中转节点到国内的延迟,比如OPENVPN建立长链转发,使用KCP协议优化协议,基本上中转节点到国内的http访问消耗等于ping消耗的毫秒数,比正常的缩短了一倍的速度

(高速通道测试下来并没有缩短延迟的作用,国内到新加坡延迟也很低稳定性也很好和国内连上高速通道中转没有太大的区别,并且高速通道价格特别贵选择了通过外网中转)

3.2 响应时间特别慢很难接受(类似于不翻墙打开一个国外的网站的感觉基本10秒左右)

这个问题其实和国内墙有关系,静态文件一般使用全球CDN加速来解决,对于动态资源,就需要中转不然如果网络丢包TCP协议会一直重试http访问超时或缓慢

3.2 文件下载速度只有20kb/s,下载业务文件要2个小时

这个问题主要是海外CDN在回源的时候被国内的墙进行了拦截限速,这个情况下使用中转的方式吧源站中转出来会得到比较理想的效果

最好的效果是当国外第一次访问文件通过中转回源获取之后这个问题就会在国外存储一份,之后的回源都会寻找到海外的这个源站文件来获取

4 总结

确实因为篇幅问题很难描述的特别细致,在后续的博客中会分解文件分发演进,动态资源加速演进来具体的介绍通过相对比较低的成本来优化用户的体验,大家如果也遇到了海外访问的问题或者有比较好的海外访问的解决方案可以随时来和喵咪沟通,多谢大家的支持今天我们就到这里.

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏iOSDevLog

Apple Developer Program注册时所需的内容

探索 无限可能 针对 Apple 平台进行开发意味着您能够轻松获取最新的 macOS、iOS、watchOS 和 tvOS 技术,这将为您带来无限可能,助您...

1783
来自专栏FreeBuf

小心!黑客组织KovCoreG正在利用虚假的浏览器和Flash更新来传播恶意软件

近期,安全研究人员发现了一个名叫KovCoreG的黑客组织正在利用伪造的浏览器及Flash更新来欺骗用户安装Kovter恶意软件。 ? 研究人员表示,攻击者使用...

2375
来自专栏小白课代表

看书必备!安卓+iOS 看小说神器!!

9293
来自专栏顶级程序员

微软自打脸,Windows 7 再次成为微软的头号桌面操作系统

源 / 开源中国 文 / OSC - 周其 微软官方表示 Windows 10 用户一直在增长,该公司的统计数据显示,该操作系统在 2 月份就超过 6...

3036
来自专栏安恒信息

2013成漏洞问题最严重年份,微软安全问题突出

计算机安全研究人员称,2013年是过去五年里漏洞问题最为严重的一年,被发现的漏洞数量甚至达到了日均13个。 根据美国国家漏洞数据...

3516
来自专栏安智客

GP TEE之安全威胁分析

PP所指的威胁是指用户端阶段产生的,通过软件途径实现的威胁。攻击者是个人或者组织远程或本地访问设备的TEE。当TEE拥有第三方案商的资产设备也会变成了潜在的攻击...

2268
来自专栏SAP最佳业务实践

SAP最佳业务实践:SD–销售订单处理:自库存销售(109)-2销售订单

销售订单的信用管理检查 信用管理 (108) 在此过程中,已为使用的客户设置了信用限额。 完成该业务情景的业务流程文档 中描述的所有活动:信用管理 (108)。...

4309
来自专栏云技术分享圈

2775元腾讯云服务器代金券领取及使用方法详解

腾讯云服务器的优势就不用我多说了,背靠腾讯这棵参天大树,10亿微信用户+10亿QQ用户的极限稳定性能检验,相信打算买服务器的朋友对于腾讯云服务器都是信心满满地。...

1.4K0
来自专栏FreeBuf

利用空调系统对隔离网络中的电脑发送指令

供热通风与空气调节(HVAC)系统可以用作传输数据,即便是隔离网络的电脑,黑客也可以利用空调系统向断网的电脑发送指令。 这种攻击手法被研究人员命名为HVACKE...

29710
来自专栏ytkah

教你微信图文消息快速添加视频的方法

  最近国防部发布征兵宣传片:军营版《小苹果》的视频很火,好东西不能独享,决定让公众号粉丝也happy一下,怎样在微信图文消息快速添加视频呢?瞧下xmyanke...

3629

扫码关注云+社区

领取腾讯云代金券