专栏首页颇忒脱的技术博客各大API网关性能比较

各大API网关性能比较

用于实现API网关的技术有很多,大致分为这么几类:

  • 通用反向代理:Nginx、Haproxy、……
  • 网络编程框架:Netty、Servlet、……
  • API网关框架:Spring Cloud Gateway、Zuul、Zuul2、……

API网关最基本的功能就是反向代理,所以在对API网关做技术选型的时候需要着重考察其性能表现,本文对Nginx、Haproxy、Netty、Spring Cloud Gateway、Zuul2做了性能测试,测试代码可以在github获得。

测试方法

  • 准备了三台2CPU 4G内存的服务器,分别运行Tomcat、API Gateway、Gatling(压测工具)
  • 先对Tomcat做压测,取Tomcat充分预热后的压测结果作为基准。压的是Tomcat自带的example:/examples/jsp/jsp2/simpletag/book.jsp
  • 在对Netty、Zuul2、Spring Cloud Gateway做压测时候也是先压个几轮做预热。
  • 被测的API网关都没有添加额外业务,只做反向代理

吞吐量

下图是吞吐量的情况,可以看到Netty、Nginx、Haproxy均比直压Tomcat低一点点,而Spring Cloud Gateway和Zuul2则要低得多。

下面这张图可以更明显的看到吞吐量比较,Tomcat为100%因为它是基准值,Netty、Nginx、Haproxy的只比基准值低8%,而Spring Cloud Gateway和Zuul2则只是基准值的35%和34%(难兄难弟)。

平均响应时间

下图可以看到Netty、Nginx、Haproxy的平均响应时间与Tomcat差不多。但是Spring Cloud Gateway和Zuul2则是Tomcat的3倍多,不出所料。

下图同样是以Tomcat作为基准值的比较:

响应时间分布

光看平均响应时间是不够的,我们还得看P50、P90、P99、P99.9以及Max响应时间(可惜Gatling只能设置4个百分位,否则我还想看看P99.99的响应时间)。

为何要观察P99.9的响应时间?光看P90不够吗?理由有两个:1)观察P99、P99.9、P99.99的响应时间可以观察系统的在高压情况下的稳定性,如果这三个时间的增长比较平滑那么说明该系统在高压力情况下比较稳定,如果这个曲线非常陡峭则说明不稳定。 2)观察P99、P99.9、P99.99的响应时间能够帮助你估算用户体验。假设你有一个页面会发出5次请求,那么这5次请求均落在P90以内概率是多少?90%^5=59%,至少会经历一次 > P90响应时间的概率是 100%-59%=41%,如果你的P90=10s,那么就意味着用户有41%的概率会在加载页面的时候超过10s,是不是很惊人?如果你的P99=10s,那么用户只有5%的概率会在访问页面的时候超过10s。如果P99.9=10s,则有0.4%的概率。 关于如何正确测量系统可以看 “How NOT to Measure Latency” by Gil Tene

下面同样是把结果与Tomcat基准值做对比:

可以看到几个很有趣的现象:

  • Haproxy、Nginx的P50、P90、P99、P99.9、Max都是逐渐递增的。
  • Netty的P50、P90、P99、P99.9是很平坦的,Max则为基准值的207%。
  • Spring Cloud Gateway和Zuul2则是相反的,它们的平面呈现下降趋势。Spring Cloud Gateway的Max甚至还比基准值低了一点点(94%),我相信这只是一个随机出现的数字,不要太在意。

结论

Nginx、Haproxy、Netty三者的表现均很不错,其对于吞吐量和响应时间的性能损耗很低,可以忽略不计。

但是目前最为火热的Spring Cloud Gateway和Zuul2则表现得比较糟糕,因我没有写额外的业务逻辑这,可以推测这和它们的内置逻辑有关,那么大致有这么几种可能:

  1. 内置逻辑比较多
  2. 内置逻辑算法存在问题,占用了太多CPU时间
  3. 内置逻辑存在阻塞
  4. 内置逻辑没有用正确姿势使用Netty(两者皆基于Netty)

不管是上面的哪一种都需要再后续分析。

不过话说回来考虑选用那种作为API网关(的基础技术)不光要看性能,还要看:

  • 是否易于扩展自己的业务逻辑
  • API使用的便利性
  • 代码的可维护性
  • 文档是否齐全
  • ...

性能只是我们手里的一个筹码,当我们知道这个东西性能到底几何后,才可以与上面的这些做交换(trade-off)。比如Nginx和Haproxy的可扩展性很差,那么我们可以使用Netty。如果你觉得Netty的API太底层了太难用了,那么可以考虑Spring Cloud Gateway或Zuul2。前提是你知道你会失去多少性能。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spring、Spring Boot和TestNG测试指南 - 测试Spring MVC

    Spring Testing Framework提供了Spring MVC Test Framework,能够很方便的来测试Controller。同时Sprin...

    颇忒脱
  • Spring MVC异步处理简介

    本文讲到的所有特性皆是基于Servlet 3.0 Async Processing的,不是基于Servlet 3.1 Async IO的。

    颇忒脱
  • 面向程序员的网络基本知识 - IP地址

    本系列文章旨在向程序员分享一些网络基本知识,让程序员具备基本的网络常识,以便与网络工程师沟通。本系列文章不会涉及如何组建网络、如何配置交换机/路由器等硬件相关的...

    颇忒脱
  • 中芯国际“跌”上热搜:回应或被美国列入“实体清单”的声明招致不满?

    9 月 5 日,据路透社援引美国国防部一名官员消息称,特朗普政府正考虑是否将中国顶级芯片制造商中芯国际 (SMIC) 列入“贸易黑名单”。晚些时候,中芯国际对此...

    深度学习与Python
  • Spring Cloud构建微服务架构:服务注册与发现(Eureka、Consul)【Dalston版】

    前言 已经有非常长的时间没有更新《Spring Cloud构建微服务架构》系列文章了,自从开始写Spring Cloud的专题内容开始就获得了不少的阅读量和认可...

    程序猿DD
  • WCF技术剖析之十七:消息(Message)详解(中篇)

    在上篇中大体上围绕着Message的两个话题进行讲述:消息版本(Message Version)和采用五种不同的方式创建Message。本篇文章将会详细介绍Me...

    蒋金楠
  • 在高通芯片的手机上怎么玩人工智能?

    人工智能一直比较火,作为移动互联网时代的行业人员,感觉离我们比较近,但实践起来离我们又比较远,当今智能手机正成为最普遍的人工智能平台,那么今天我们来说一说高通在...

    安智客
  • MIT这个新机器人是……能在地上跑的无人机?能飞上天的无人车?

    陈桦 编译自 MIT News 量子位 报道 | 公众号 QbitAI ? MIT计算机科学和人工智能实验室(CSAIL)正在开发一种既能飞又能跑的机器人。 一...

    量子位
  • 【安全设计】10种保护Spring Boot应用程序的绝佳方法

    Spring Boot极大地简化了Spring应用程序的开发。它的自动配置和启动器依赖关系减少了启动应用程序所需的代码和配置量。

    首席架构师智库
  • Java中sleep和wait的区别

    2、sleep方法使当前线程暂停执行指定的时间,让出cpu给其他线程,但是它的监控状态依然保持着,当指定的时间到了又会自动恢复运行状态。在调用sleep方法后,...

    编程大道

扫码关注云+社区

领取腾讯云代金券