Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >跨公网调用的大坑与架构优化方案

跨公网调用的大坑与架构优化方案

作者头像
架构师之路
发布于 2018-03-01 11:25:12
发布于 2018-03-01 11:25:12
1.5K0
举报
文章被收录于专栏:架构师之路架构师之路

第三方接口挂掉,我们的服务会受影响么?

一、缘起与大坑

很多时候,业务需要跨公网调用一个第三方服务提供的接口,为了避免每个调用方都依赖于第三方服务,往往会抽象一个服务:

  • 解除调用方与第三方接口的耦合
  • 当第三方的接口变动时,只有服务需要修改,而不是所有调用方均修改

此时接口调用流程是什么样的呢?

如上图1-4所述:

(1)业务调用方调用内部service

(2)内部service跨公网调用第三方接口

(3)第三方接口返回结果给内部service

(4)内部service返回结果给业务调用方

这个过程存在什么潜在的大坑呢?

内部服务可能对上游业务提供了很多服务接口,当有一个接口跨公网第三方调用超时时,可能导致所有接口都不可用,即使大部分接口不依赖于跨公网第三方调用。

为什么会出现这种情况呢?

内部服务对业务方提供的N个接口,会共用服务容器内的工作线程(假设有100个工作线程)。

假设这N个接口的某个接口跨公网依赖于第三方的接口,发生了网络抖动,或者接口超时(不妨设超时时间为5秒)。

潜台词是,这个工作线程会被占用5秒钟,然后超时返回业务调用方。

假设这个请求的吞吐量为20qps,言下之意,很短的时间内,所有的100个工作线程都会被卡在这个第三方超时等待上,而其他N-1个原本没有问题的接口,也得不到工作线程处理。

潜在优化方案?

  • 增大工作线程数(不根本解决问题)
  • 降低超时时间(不根本解决问题)
  • 垂直拆分,N个接口拆分成若干个服务,使得在出问题时,被牵连的接口尽可能少(依旧不根本解决问题,难道一个服务只提供一个接口吗?)

跨公网调用的稳定性优化,是本文要讨论的问题。

二、异步代理法

业务场景:通过OpenID实时获取微信用户基本信息

解决方案:增加一个代理,向服务屏蔽究竟是“本地实时”还是“异步远程”去获取返回结果

本地实时流程如上图1-5:

(1)业务调用方调用内部service

(2)内部service调用异步代理service

(3)异步代理service通过OpenID在本地拿取数据

(4)异步代理service将数据返回内部service

(5)内部service返回结果给业务调用方

异步远程流程如上图6-8粗箭头的部分:

(6)异步代理service定期跨公网调用微信服务

(7)微信服务返回数据

(8)刷新本地数据

优点:公网抖动,第三方接口超时,不影响内部接口调用

不足:本地返回的不是最新数据(很多业务可以接受数据延时)

有时候,内部service和异步代理service可以合成一个service

三、第三方接口备份与切换法

业务场景:调用第三方短信网关,或者电子合同

解决方案:同时使用(或者备份)多个第三方服务

流程如上图1-4:

(1)业务调用方调用内部service

(2)内部service调用第一个三方接口

(3)超时后,调用第二个备份服务,未来都直接调用备份服务,直到超时的服务恢复

(4)内部service返回结果给业务调用方

优点:公网抖动,第三方接口超时,不影响内部接口调用(初期少数几个请求会超时)

不足:不是所有公网调用都能够像短息网关,电子合同服务一样有备份接口的,像微信、支付宝等就只此一家

四、异步调用法

业务场景:本地结果,同步第三方服务,例如用户在58到家平台下单,58到家平台需要通知平台商家为用户提供服务

解决方案:本地调用成功就返回成功,异步调用第三方接口同步数据(和异步代理有微小差别)

本地流程如上图1-3:

(1)业务调用方调用内部service

(2)内部service写本地数据

(3)内部service返回结果给业务调用方成功

异步流程如上图4-5粗箭头的部分:

(4)异步service定期将本地数据取出(或者通知也行,实时性好)

(5)异步调用第三方接口同步数据

优点:公网抖动,第三方接口超时,不影响内部接口调用

不足:不是所有业务场景都可以异步同步数据

五、总结

跨公网调用第三方,可能存在的问题

  • 公网抖动,第三方服务不稳定,影响自身服务
  • 一个接口超时,占住工作线程,影响其他接口

降低影响的优化方案

  • 增大工作线程数
  • 降低超时时间
  • 服务垂直拆分

业务需求决定技术方案,结合业务的解决方案:

  • 业务能接受旧数据:读取本地数据,异步代理定期更新数据
  • 有多个第三方服务提供商:多个第三方互备
  • 向第三方同步数据:本地写成功就算成功,异步向第三方同步数据

希望第三方的服务挂掉,不再影响大家的服务。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-05-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 架构师之路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
第三方接口挂掉,我们的服务怎么能不背锅?(第39讲)
业务需要跨公网调用一个第三方服务提供的接口,为了避免每个调用方都依赖于第三方服务,往往会抽象一个边界服务:
架构师之路
2025/03/03
600
第三方接口挂掉,我们的服务怎么能不背锅?(第39讲)
微服务设计原则——高可用
(2)调用的下游不是为高并发场景设计;比如提供异步计算结果拉取的服务,并不需要考虑各种复杂的高并发业务场景,提供高并发流量场景的支持。每个业务场景应该在拉取数据时缓存下来,而不是每次业务请求都过来拉取,将业务流量压垮下游。
恋喵大鲤鱼
2024/03/25
2680
微服务设计原则——高可用
如何优雅地处理后端接口超时问题?
具体说明:当设计的业务流程或者功能需要调用其他接口实现请求与响应的时候,可能由于网络等原因导致的接口超时导致业务中断或者功能反馈有误等。
终码一生
2022/04/14
7.8K0
如何优雅地处理后端接口超时问题?
深入剖析通信层和RPC调用的异步化(上)
在将近10年的平台中间件研发历程中,我们的平台和业务经历了从C++到Java,从同步的BIO到非阻塞的NIO,以及纯异步的事件驱动I/O(AIO)。服务器也从Web容器逐步迁移到了内部更轻量、更高性能的微容器。服务之间的RPC调用从最初的同步阻塞式调用逐步升级到了全栈异步非阻塞调用。
全栈程序员站长
2022/06/29
1.1K0
深入剖析通信层和RPC调用的异步化(上)
两年 PHP程序员 聊下架构
前言 2016年很有幸参与了公司内部系统架构3.0的升级,我们把公司的业务进行了四大板块的拆分,分别是应用服务、内容服务、电商服务、支付服务。其他和业务无关的功能拆分到了基础服务,为全公司的业务提供基础服务能力,例如短信、app推送、微信模板消息、图片上传等服务能力。我们还建立我们自己的网关服务,对外提供了统一的服务访问地址。自此之后我对架构的发展和演变也产生了浓厚的兴趣和想法,但是目前接触的有限,与大公司的业务复杂度比还是有很大的差距,一年过去了但是还是想把自己经历的做个总结和自己的想法表达出来,同时也希
前端教程
2018/03/05
1.6K0
两年 PHP程序员 聊下架构
『互联网架构』软件架构-java日志异常(18)
PS:健壮的系统异常的判断尤为重要,不要认为开发完成就完成了,其实在开发过程中,就像装修一样『前门』很光鲜,『后门』也得控制好。万一别人没从『前门』进来,要求让带个钥匙进门,结果拿个斧子进『后门』呢?
IT架构圈
2019/03/19
7530
『互联网架构』软件架构-java日志异常(18)
《软件测试52讲》读书笔记 —— API测试怎么做
文章中还介绍了测试工具,比如cURL、postman,单API如何测试;但这些都是偏基础的东西,且网上教程各式各样,就不再赘述了;这里主要讲的就是关于复杂场景的API测试要如何应对
小菠萝测试笔记
2020/06/09
5460
给新手程序员的25个建议
但后来发现,有些两年之前的代码,业务逻辑都忘了,有些代码自己都看不懂。特别是有部分非常复杂的逻辑和算法,需要重新花很多时间才能看明白,可以说自己把自己坑了。
苏三说技术
2023/10/25
5241
实战!接口中的大事务,该如何进行优化?
作为后端开发的程序员,我们常常会的一些相对比较复杂的逻辑,比如我们需要给前端写一个调用的接口,这个接口需要进行相对比较复杂的业务逻辑操作,比如会进行,查询、远程接口或本地接口调用、更新、插入、计算等一些逻辑,将最终接口的返回结果给到前端,而经过这么一系列的业务逻辑操作,接口对DB的操作、对代码业务逻辑判断、进行接口调用这些都是需要时间的,而只要这是一个事务操作,每次对数据库进行的交互都会产生一条事务记录。
终码一生
2023/11/15
4210
实战!接口中的大事务,该如何进行优化?
客服系统微服务架构的演化
微服务要求 服务协作 服务治理 服务治理 1 怀疑第三方 坚持一条信念:“所有第三方服务都不可靠”,不管第三方什么天花乱坠的承诺。基于这样的信念,我们需要有以下行动。 1.1 有兜底,制定好业务降级
用户1263954
2018/01/30
1.5K1
客服系统微服务架构的演化
孵化业务快速落地与优化
海外酒店是酒旅事业群第一个孵化的业务,从2016年9月份开始到现在已经半年多的时间。在业务后台搭建、成长、优化过程中,经历了很多的思考与选择。 主要分为下面几个阶段: 初建:调研、落地,合理复用,高效自建。 优化:量化、决策,寻找瓶颈,优化性能。 展望:梳理、规划,业务展望,未雨绸缪。 本文将分别介绍这几个阶段后台系统相关的思考,此外还会在最后总结团队建设方面的经验。 初建 海外酒店作为一个孵化项目,属于新的业务场景,没有完整的学习对象。从业务细节上来讲,孵化业务的属性、流程、发展方向均有自己的特点;但从
美团技术团队
2018/03/13
1K0
孵化业务快速落地与优化
架构设计|异步请求如何同步处理?
本文创意来自一次业务需求,这次需要接入一个第三方外部服务。由于这个服务只提供异步 API,为了不影响现有系统同步处理的方式,接入该外部服务时,应用对外屏蔽这种差异,内部实现异步请求同步。
andyxh
2020/03/19
1.8K0
架构:HTTP与RPC的异同及各自的应用场景简介
HTTP接口和RPC接口都是生产上常用的接口,顾名思义,HTTP接口使用基于HTTP协议的URL传参调用,而RPC接口则基于远程过程调用。RPC(即Remote Procedure Call,远程过程调用)和HTTP(HyperText Transfer Protocol,超文本传输协议),两者前者是一种方法,后者则是一种协议。两者都常用于实现服务,在这个层面最本质的区别是RPC服务主要工作在TCP协议之上(也可以在HTTP协议),而HTTP服务工作在HTTP协议之上。由于HTTP协议基于TCP协议,所以RPC服务天然比HTTP更轻量,效率更胜一筹。
Freedom123
2024/03/29
1.5K0
架构:HTTP与RPC的异同及各自的应用场景简介
Reactor 第九篇 WebFlux重构个人中心,效果显著
个人中心系统的特征就是组装各个业务的接口,输出个人中心业务需要的数据,整个系统调用了几十个第三方业务线的接口,如果编排不合理,可能会导致响应时间急剧上涨,尤其是弹窗业务,新的弹窗会不断接入,整个接口可能会不可用。
伍六七AI编程
2023/05/07
4250
Reactor 第九篇 WebFlux重构个人中心,效果显著
『互联网架构』JDBC和RestApi调用埋点(114)
这些user,框架,连接池,驱动都依赖jdbc,jdbc是一个什么东西?jdbc是一种规范,一堆接口组成的规范j2se,由驱动来实现的。servlet也是一种接口规范,是j2ee的规范,由tomcat,jetty等容器实现的。任任何一层都可以做为插桩的切入点,但是选用User 层、框架层、连接池&数据源层、驱动层其实现是多样的,无法做到普适性。所以在此选用JDBC 作为插桩切入 点。
IT架构圈
2019/07/24
8640
『互联网架构』JDBC和RestApi调用埋点(114)
写出漂亮代码的45个小技巧
不知道大家有没有经历过维护一个已经离职的人的代码的痛苦,一个方法写老长,还有很多的if else ,根本无法阅读,更不知道代码背后的含义,最重要的是没有人可以问,此时只能心里默默地问候这个留坑的兄弟。。
三友的java日记
2022/12/20
3890
写出漂亮代码的45个小技巧
必须知道的RPC内核细节(值得收藏)!!!
微服务分层架构,之前聊得很多了,微服务离不开RPC框架,RPC框架的原理、实践及细节,今天和大家聊一聊。 文章较长,1万字左右,建议提前收藏。 服务化有什么好处? 服务化的一个好处就是,不限定服务的提供方使用什么技术选型,能够实现大公司跨团队的技术解耦,如下图所示: (1)服务A:欧洲团队维护,技术背景是Java; (2)服务B:美洲团队维护,用C++实现; (3)服务C:中国团队维护,技术栈是go; 服务的上游调用方,按照接口、协议即可完成对远端服务的调用。 但实际上,大部分互联网公司,研发团队规模
架构师之路
2022/06/24
7450
必须知道的RPC内核细节(值得收藏)!!!
架构设计 | 异步处理流程,多种实现模式详解
异步处理不用阻塞当前线程来等待处理完成,而是允许后续操作,直至其它线程将处理完成,并回调通知此线程。
知了一笑
2020/06/10
1.6K0
架构设计 | 异步处理流程,多种实现模式详解
你应该如何正确健壮后端服务?
  对每一个程序员而言,故障都是悬在头上的达摩克利斯之剑,都唯恐避之不及,如何避免故障是每一个程序员都在苦苦追寻希望解决的问题。对于这一问题,大家都可以从需求分析、架构设计 、代码编写、测试、code review、上线、线上服务运维等各个视角给出自己的答案。本人结合自己两年有限的互联网后端工作经验,从某几个视角谈谈自己对这一问题的理解,不足之处,望大家多多指出。
芋道源码
2019/10/29
8380
你应该如何正确健壮后端服务?
CompletableFuture常用用法及踩坑
作为常用的并发类,CompletableFuture在项目中会经常使用,其作用与Google的ListenableFuture类似;
benym
2022/07/14
4.5K0
推荐阅读
相关推荐
第三方接口挂掉,我们的服务怎么能不背锅?(第39讲)
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文