大型网站架构演变过程、大并发服务器架构
大型网站架构演变过程、大并发服务器架构
大型网站架构演变过程：
[Step1]web server与数据库分离
web动静资源分离
静态请求：如html, js, css, img
动态请求：如jsp, php
[Step2]缓存处理
客户端（浏览器）缓存 前端页面缓存（squid） 页面片段缓存ESI(Edge Side Includes) 本地数据缓存
[Step3]web server集群+读写分离
负载均衡：
前端负载均衡
DNS负载均衡
在DNS服务器中，可以为多个不同的地址配置同一个名字，对于不同的客户机访问同一个名字，得到不同的地址。
反向代理
使用代理服务器将请求发给内部服务器，让代理服务器将请求均匀转发给多台内部web服务器之一，从而达到负载均衡的目的。标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式。
基于NAT的负载均衡技术 LVS F5硬件负载均衡
应用服务器负载均衡 数据库负载均衡
[Step4]CDN、分布式缓存、分库分表
分布式缓存
目前流行分布式缓存方案：memcached、membase、redis等，基本上当前的NoSQL方案都可以用来做分布式缓存方案
分库（垂直分区）
分表（水平分区shared）
[Step5]多数据中心+分布式存储与计算
技术点[DFS、Key-Value DB 、 Map/Reduce ]
DFS分布式文件系统，如：Lustre\HDFS\GFS\TFS\FreeNas等 Key-Value DB，也作为NoSQL解决方案，如:BigTable\Tair\Hbase\HyperTable等 Map/Reduce算法（计算框架），基本上现有NoSQL数据库中都支持此算法。 提供完整解决方案：
Google(GFS|BigTable|Map/Reduce) Apache Hadoop(HDFS|HBase|Map/Reduce)
大并发服务器架构：
垂直分区：比如用户表、业务表、基础表各有各自的读写数据库。
水平分区：比如用户表、业务表、基础表各有1000条记录，则水平分割分布在10对读写库。
服务器性能杀手：
1、数据拷贝：（缓存，不是指分布式缓存，指的是服务器内部的，如从内核拷贝到应用层的缓存）
2、环境切换：（理性使用多线程）单核（使用状态机编程效果最佳），多线程能够发挥多核服务器最佳性能
3、内存分配：（内存池）减少向操作系统申请内存的次数
4、锁竞争：（通过逻辑尽量减少锁的使用，或者锁的竞争）
大型网站架构演变过程：
[Step1]web server与数据库分离
web动静资源分离
静态请求：如html, js, css, img
动态请求：如jsp, php
[Step2]缓存处理
客户端（浏览器）缓存 前端页面缓存（squid） 页面片段缓存ESI(Edge Side Includes) 本地数据缓存
[Step3]web server集群+读写分离
负载均衡：
前端负载均衡
DNS负载均衡
在DNS服务器中，可以为多个不同的地址配置同一个名字，对于不同的客户机访问同一个名字，得到不同的地址。
反向代理
使用代理服务器将请求发给内部服务器，让代理服务器将请求均匀转发给多台内部web服务器之一，从而达到负载均衡的目的。标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式。
基于NAT的负载均衡技术 LVS F5硬件负载均衡
应用服务器负载均衡 数据库负载均衡
[Step4]CDN、分布式缓存、分库分表
分布式缓存
目前流行分布式缓存方案：memcached、membase、redis等，基本上当前的NoSQL方案都可以用来做分布式缓存方案
分库（垂直分区）
分表（水平分区shared）
[Step5]多数据中心+分布式存储与计算
技术点[DFS、Key-Value DB 、 Map/Reduce ]
DFS分布式文件系统，如：Lustre\HDFS\GFS\TFS\FreeNas等 Key-Value DB，也作为NoSQL解决方案，如:BigTable\Tair\Hbase\HyperTable等 Map/Reduce算法（计算框架），基本上现有NoSQL数据库中都支持此算法。 提供完整解决方案：
Google(GFS|BigTable|Map/Reduce) Apache Hadoop(HDFS|HBase|Map/Reduce)
大并发服务器架构：
垂直分区：比如用户表、业务表、基础表各有各自的读写数据库。
水平分区：比如用户表、业务表、基础表各有1000条记录，则水平分割分布在10对读写库。
服务器性能杀手：
1、数据拷贝：（缓存，不是指分布式缓存，指的是服务器内部的，如从内核拷贝到应用层的缓存）
2、环境切换：（理性使用多线程）单核（使用状态机编程效果最佳），多线程能够发挥多核服务器最佳性能
3、内存分配：（内存池）减少向操作系统申请内存的次数
4、锁竞争：（通过逻辑尽量减少锁的使用，或者锁的竞争）