高并发的那些事

题图:by thefolkpr0ject from Instagram

阅读文本大概需要 6 分钟。

"高并发"对后台开发同学来说,既熟悉又陌生。熟悉是因为面试和工作经常会提及它。陌生的原由是服务器因高并发导致出现各位问题的情况少之又少。同时,想收获这方面的经验也是"摸着石头过河", 需要大量学习理论知识,再去探索。

如果是客户端开发的同学,字典中是没有“高并发”这个名词。这验证一句老话,"隔行如隔山"。客户端开发,特别是手机应用开发,更多地是考虑如何优化应用的性能,降低 App 的卡顿率等。

本文是一篇科普文,分享自己近来学到的知识。

什么是高并发?

由于分布式系统的问世,高并发(High Concurrency)通常是指通过设计保证系统能够同时并行处理很多请求。通俗来讲,高并发是指在同一个时间点,有很多用户同时的访问同一 API 接口或者 Url 地址。它经常会发生在有大活跃用户量,用户高聚集的业务场景中。

其实,高并发也离我们的生活并不遥远,例如大学学校的选课系统。一到选课的时候,一大批学生同时选课,导致系统出现“不良反应”;再如淘宝的 618 和 双 11 的购物活动;遇到节假日,12306 上演的“抢票大战”。另外,DDos 攻击也能算高并发的场景。

高并发会来带的后果

  • 服务端: 高并发会导致站点服务器/DB服务器资源被占满崩溃,甚至出现服务器宕机的情况;数据的存储不完整,数据更新异常问题。
  • 用户端: 服务端的问题是高并发的直接反馈,而客户端是间隔反馈。它反馈给用户情况是糟糕的体验。

提高系统并发能力的方式

在这个“云”的时代,提高分布式系统并发能力的方式,方法论上主要有两种:垂直扩展(Scale Up)水平扩展(Scale Out)

1) 垂直扩展 提升单机处理能力。垂直扩展的方式又有两种:

  • 增强单机硬件性能,例如:增加 CPU 核数如 32 核,升级更好的网卡如万兆,升级更好的硬盘如 SSD,扩充硬盘容量如 2T,扩充系统内存如 128G;
  • 提升单机架构性能,例如:使用 Cache 来减少 I/O 次数,使用异步来增加单服务吞吐量,使用无锁数据结构来减少响应时间;

2) 水平扩展 只要增加服务器数量,就能线性扩充系统性能。虚拟化技术的出现,让水平扩展变得轻松且简单。现在的云主机几乎是虚拟主机,而不是物理主机。这样的话,线性扩充也就是分分钟的事,前提是要有足够的物理主机支撑。

高并发的三个经典问题

  • 单台服务器最大并发 单台服务器最大并发问题,一般是指一台服务器能够支持多少TCP并发连接. 一种理论说法是受到端口号范围限制。操作系统上端口号 1024 以下是系统保留的,从 1024-65535 是用户使用的。由于每个TCP连接都要占一个端口号,所以我们最多可以有 60000 多个并发连接。 但实际上单机并发连接数肯定要受硬件资源(内存、网卡)、网络资源(带宽)的限制。特别是网卡处理数据的能力,它是最大并发的瓶颈。
  • C10K并发连接问题 C10K并发连接问题是指单机 1 万个并发连接问题。如何突破单机性能局限,是高性能网络编程所必须要直面的问题。这些局限和问题最早被 Dan Kegel 进行了归纳和总结,并首次成系统地分析和提出解决方案,后来这种普遍的网络现象和技术局限都被大家称为 C10K 问题 。 C10K问题本质上是操作系统的问题。对于 Web1.0/2.0 时代的操作系统而言, 传统的同步阻塞 I/O 模型都是一样的,处理的方式都是 requests per second,并发 10K 和 100 的区别关键在于CPU。 创建的进程线程多了,数据拷贝频繁(缓存I/O、内核将数据拷贝到用户进程空间、阻塞), 进程/线程上下文切换消耗大, 导致操作系统崩溃,这就是C10K问题的本质!
  • C10M并发连接问题 回顾了过去的10年里,我们面临高性能网络编程领域著名的C10K问题,最终也成功提出解决方案。下一个10年,是时候考虑C10M并发问题了。 C10M 并发连接问题指的是单机服务器实现 C10M(即单机千万并发连接)。

Django 与高并发的联系

想弄清楚这个问题,首先要了解下 Django 在服务器中所处的位置。

上图中讲到 Django 应用服务器可以分为三层:

  • Web 框架层 Web框架层就是我们开发出来的 Django Web 应用程序。它负责处理 HTTP 请求的动态数据。
  • WSGI 层 WSGI 不是用于与程序交互的API,也不是真实的代码,WSGI 只是一种接口。它只适用于 Python 语言,其全称为 Web Server Gateway Interface。其定义了 web服务器和 web应用之间的接口规范。
  • Web 服务器层 Web 服务层作用是主要是接收 HTTP 请求并返回响应。常见的 web服务器有 Nginx,Apache,IIS等。 特别是 Nginx, 它的出现是为了解决 C10K 问题。Nginx 依靠异步事件驱动架构来帮助其处理大量的并发会话,由于其对资源的轻量利用和伸缩自如的特性,它成为了广受欢迎的 web 服务器。

Django 框架注重的数据交互。所以考虑的问题是 Django 适不适合于高并发的场景。 它是一个经过大型网站规模验证的框架。Instagram 支撑上亿日活,所以 Django 能适用于高并发场景。所以不是想着 Django 框架能支撑到多大的并发量,而是我们想要抗住很大的并发量,怎么优化现有框架。

原文发布于微信公众号 - 极客猴(Geek_monkey)

原文发表时间:2018-10-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Golang语言社区

再谈游戏服务器架构

一、服务器划分原则 在现有的网络游戏服务器端架构中,多是以功能和场景来划分服务器结构的。负载均衡和集群暂且不在本文中讨论(bigworld、atlas...

1.2K130
来自专栏高性能服务器开发

9 百万用户级游戏服务器架构设计

所谓服务器结构,也就是如何将服务器各部分合理地安排,以实现最初的功能需求。所以,结构本无所谓正确与错误;当然,优秀的结构更有助于系统的搭建,对系统的可扩展性及可...

99850
来自专栏CSDN技术头条

高性能智能日志实践

本文作者是 Archanaa Panda ,从 2000 以来一直在软件开发(构架、设计和编程)团队担任 Java / JavaEE 构架师,目前立志于做一个与...

264100
来自专栏Java职业技术分享

巧用分布式环境下的优雅技术,只有头发少的人才研究过

在分布式数据库系统中,用户感觉不到数据是分布的,即用户不须知道关系是否分割、有无副本、数据存于哪个站点以及事务在哪个站点上执行等。

9000
来自专栏Brian

Effective Debugging-高效调试

概述 最近在看《Effective Debugging》,作者(Diomidis Spinellis)将30多年的系统开发和调试的经验融入到书中,从策略、方法以...

36580
来自专栏京东技术

京东价格保护高并发 | 七步走保证用户体验

2014年加入京东,负责京东财务退款及价格保护研发建设,擅长京东逆向流程场景、金额拆分计算、高并发下网站优化。

14430
来自专栏运维前线

阿里&百度&腾讯&facebook&Microsoft&Google开源项目汇总

BAT && YMFT Tencent GitHub地址:https://github.com/Tencent/tinker Tinker是Android的...

46980
来自专栏Android群英传

震惊!我逆向了Android代码居然看见……

14210
来自专栏华章科技

从 Python 转到 Go 语言的五大理由

“ Python 是非常强大的,特别是 Python3 有了异步功能,但是 GO 将完全取代它在大企业中的存在…”如果你真正理解了引号中的话,你可能会去尝试 G...

19330
来自专栏SDNLAB

ODL Lithium SR2版本Entity Ownership Service分析及OFplugin规模部署可用预测

家好,我是盛科网络负责sdn研发的张东亚,作为sdn设备的提供商,业余非常关注sdn生态圈的发展,最近抽时间研究了li版本of plugin的代码,记录了一些心...

32450

扫码关注云+社区

领取腾讯云代金券