高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素,它通常是指,系统能够同时并行处理很多的请求。也就是说高并发指的是同一时刻不同的用户访问了同一个资源,或者是同一时刻有多个线程访问了同一个数据。
说到高并发,一般有3个技术指标:QPS、响应时间,吞吐量。
QPS:(Query Per Second:每秒查询率),在互联网领域,指每秒响应请求数(http请求)。
响应时间:系统对请求做出响应的时间。假设某个接口处理一个http请求需要200ms,那么该接口的响应时间就是200ms。
吞吐量:单位时间内处理的请求数量。
提高系统并发能力的方法主要有两种:垂直扩展(Scale Up)与水平扩展(Scale Out)。
垂直扩展就是提升单机处理能力,水平扩展就是增加服务器数量。
垂直扩展:
但是单机性能总是有极限的,因此互联网分布式架构设计的高并发终极解决方案还是水平扩展。
下面分享一个高并发的企业整体架构,如下图:
下面对这个架构做个介绍:
1、用户访问系统之前要经过防火墙的隔离,它主要的功能是把企业内外网络进行物理隔离,通过预先制定的安全策略控制用户的访问。
2、负载均衡服务器可以转发请求,使用户请求均匀的分配到应用服务器,避免单机的压力。可以通过硬件和软件解决。软件有:LVS,nginx,硬件有F5比较贵。
3、负载均衡使用主备机制达到高可用(HA)的目的。
4、应用服务器分布式,面临的一个问题是session共享的问题,假设用户登录了应用1,下次请求来了到了应用2,那么如果没有处理session共享的话,就会导致用户需要重新登录。目前一般使用缓存服务器来解决session共享问题,比如Redis集群。
5、数据库服务器一般使用MySQL,因为Oracle是按CPU收费的,非常贵。
6、使用Redis等缓存系统,使用ELK快速检索,使用hadoop进行数据分析。
在这个架构里,高并发体现在负载均衡和数据库2个地方。
负载均衡:无论使用LVS+keepalived还是使用nginx,都要考虑做负载的集群,考虑主备机制。
数据库高并发:
1、读写分离:
2、水平拆分+库表散列