首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

高性能服务器架构里的隐藏秘密

作者:Coder李海波 来源:http://blog.csdn.net/marising/article/details/5186643 在提到服务器架构时,一般只有非常资深的运维工程师才能完完全全把这件事请给你讲明白...对于这里所说的服务器,更精确的定义应该是每秒处理大量离散消息或者请求的服务程序,网络服务器更符合这种情况,但并非所有的网络程序都是严格意义上的服务器。...使用“高性能请求处理程序”是一个很糟糕的标题,为了叙述起来简单,下面将简称为“服务器”。 本文不会涉及到多任务应用程序,在单个程序里同时处理多个任务现在已经很常见。...真正的挑战出现在服务器架构设计对性能产生制约时,如何通过改善架构来提升系统性能。对于在拥有上G内存和G赫兹CPU上运行的浏览器来说,通过DSL进行多个并发下载任务不会有如此的挑战性。...如果你正在应用剔出了分支的阶段架构(指前面说的为请求划分阶段),你可能已经有这样一张划分图了,就像很多人见过的OSI七层网络协议架构图一样。 图表的水平轴表示数据集。

1.1K40

高性能服务器架构里的隐藏秘密

作者:Coder李海波 来源:http://blog.csdn.net/marising/article/details/5186643 在提到服务器架构时,一般只有非常资深的运维工程师才能完完全全把这件事请给你讲明白...对于这里所说的服务器,更精确的定义应该是每秒处理大量离散消息或者请求的服务程序,网络服务器更符合这种情况,但并非所有的网络程序都是严格意义上的服务器。...使用“高性能请求处理程序”是一个很糟糕的标题,为了叙述起来简单,下面将简称为“服务器”。 本文不会涉及到多任务应用程序,在单个程序里同时处理多个任务现在已经很常见。...真正的挑战出现在服务器架构设计对性能产生制约时,如何通过改善架构来提升系统性能。对于在拥有上G内存和G赫兹CPU上运行的浏览器来说,通过DSL进行多个并发下载任务不会有如此的挑战性。...如果你正在应用剔出了分支的阶段架构(指前面说的为请求划分阶段),你可能已经有这样一张划分图了,就像很多人见过的OSI七层网络协议架构图一样。 · 图表的水平轴表示数据集。

76940
您找到你想要的搜索结果了吗?
是的
没有找到

高性能服务器架构思路(一)——缓冲策略

服务器端程序开发领域,性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而,服务器端程序在性能问题上应该有何种基本思路,这个却很少被这些项目的文档提及。...缓存策略的概念 我们提到服务器端性能问题的时候,往往会混淆不清。...我们在服务器开发的时候,最常用到的有下面这几种硬件:CPU、内存、磁盘、网卡。...所以当我们的服务器出现性能问题,有一个最基本的思路,就是——时间空间转换。我们可以举几个例子来说明这个问题。 ?...另外,我们的Web服务器,在发送HTML文件内容的时候,往往也会先用ZIP压缩,然后发送给浏览器,浏览器收到后要先解压,然后才能显示,这个也是用服务器和客户端的CPU时间,来换取网络带宽的空间。

70020

高性能服务器架构思路(一)——缓冲策略

服务器端程序开发领域,性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而,服务器端程序在性能问题上应该有何种基本思路,这个却很少被这些项目的文档提及。...http://cloud.tencent.com/act/pro/voucherslist 缓存策略的概念 我们提到服务器端性能问题的时候,往往会混淆不清。...我们在服务器开发的时候,最常用到的有下面这几种硬件:CPU、内存、磁盘、网卡。...所以当我们的服务器出现性能问题,有一个最基本的思路,就是——时间空间转换。我们可以举几个例子来说明这个问题。...另外,我们的Web服务器,在发送HTML文件内容的时候,往往也会先用ZIP压缩,然后发送给浏览器,浏览器收到后要先解压,然后才能显示,这个也是用服务器和客户端的CPU时间,来换取网络带宽的空间。

48400

高性能服务器架构思路:缓冲策略 (一)

服务器端程序开发领域,性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而,服务器端程序在性能问题上应该有何种基本思路,这个却很少被这些项目的文档提及。...缓存策略的概念 我们提到服务器端性能问题的时候,往往会混淆不清。...我们在服务器开发的时候,最常用到的有下面这几种硬件:CPU、内存、磁盘、网卡。...另外,我们的Web服务器,在发送HTML文件内容的时候,往往也会先用ZIP压缩,然后发送给浏览器,浏览器收到后要先解压,然后才能显示,这个也是用服务器和客户端的CPU时间,来换取网络带宽的空间。...相关推荐 下一篇 高性能服务器架构思路:缓冲清理策略(二) 弹性缓存Memcached 缓存系统在游戏业务中的特异性

7.2K99

高性能服务器架构思路(二)——缓冲清理策略

按最简单的做法,我们一般只要重启一下服务器进程,内存中的缓存就会消失了。...简单来说,就是在服务器进程上,开通一个实时的命令端口,我们可以通过网络数据包(如 UDP 包),或者Linux系统信号(如 kill SIGUSR2 进程号)之类的手段,发送一个命令消息给服务器进程,让进程开始清理缓存...具体的做法,就是每次浏览器发起对 WEB 服务器的请求时,除了发送 URL 给服务器外,还会发送一个缓存了此 URL 对应的文件内容的MD5校验串、或者是此文件在服务器上的“最后更新时间”(这个校验串和...“最后更新时间”是第一次获的文件时一并从服务器获得的);服务器收到之后,就会把 MD5 校验串或者最后更新时间,和磁盘上的目标文件进行对比,如果是一致的,说明这个文件没有被修改过(缓存不是“脏”的),可以直接使用缓存...WEB 服务器静态缓存例子 上面说了运行时静态的缓存清理,现在说说运行时变化的缓存数据。在服务器程序运行期间,如果用户和服务器之间的交互,导致了缓存的数据产生了变化,就是所谓“运行时变化缓存”。

75830

高性能服务器架构思路:缓冲清理策略(二)

按最简单的做法,我们一般只要重启一下服务器进程,内存中的缓存就会消失了。...具体的做法,就是每次浏览器发起对WEB服务器的请求时,除了发送URL给服务器外,还会发送一个缓存了此URL对应的文件内容的MD5校验串、或者是此文件在服务器上的“最后更新时间”(这个校验串和“最后更新时间...”是第一次获的文件时一并从服务器获得的);服务器收到之后,就会把MD5校验串或者最后更新时间,和磁盘上的目标文件进行对比,如果是一致的,说明这个文件没有被修改过(缓存不是“脏”的),可以直接使用缓存。...在服务器程序运行期间,如果用户和服务器之间的交互,导致了缓存的数据产生了变化,就是所谓“运行时变化缓存”。...相关推荐 上一篇 高性能服务器架构思路:缓冲策略 ( 一 ) 下一篇 高性能服务器架构思路:分布式系统概念 ( 三 )

10.5K10

高性能服务器架构思路【不仅是思路】

所以我们一般都会在运行时架构设计之初,就考虑如何能利用多个CPU、多台服务器来分担负载,这就是所谓分布的策略。分布式的服务器概念很简单,但是实现起来却比较复杂。...[Nginx的固定多进程,一个进程异步处理多个客户端] [Apache的多态多进程,一个进程处理一个客户] 在现代服务器端软件中,nginx这种模型的运维管理会更简单,性能消耗也会稍微更小一点,所以成为最流行的进程架构...分布式缓存策略 在分布式程序架构中,如果我们需要整个体系有更高的稳定性,能够对进程容灾或者动态扩容提供支持,那么最难解决的问题,就是每个进程中的内存状态。...而我们每个DSN服务器,都具备了大量的其他域名的缓存数据。 总结 在高性能服务器架构中,常用的缓存和分布两种策略,往往是结合到一起使用的。...虽然这两种策略,都有无数种不同的表现形式,成为各种各样的技术流派,但是只有清楚的理解这些技术的原理,并且和实际的业务场景结合起来,才能真正的做出满足应用要求的高性能架构

75350

高性能服务器架构思路(二)——缓冲清理策略

按最简单的做法,我们一般只要重启一下服务器进程,内存中的缓存就会消失了。...简单来说,就是在服务器进程上,开通一个实时的命令端口,我们可以通过网络数据包(如 UDP 包),或者Linux系统信号(如 kill SIGUSR2 进程号)之类的手段,发送一个命令消息给服务器进程,让进程开始清理缓存...具体的做法,就是每次浏览器发起对 WEB 服务器的请求时,除了发送 URL 给服务器外,还会发送一个缓存了此 URL 对应的文件内容的MD5校验串、或者是此文件在服务器上的“最后更新时间”(这个校验串和...WEB 服务器静态缓存例子 上面说了运行时静态的缓存清理,现在说说运行时变化的缓存数据。在服务器程序运行期间,如果用户和服务器之间的交互,导致了缓存的数据产生了变化,就是所谓“运行时变化缓存”。...腾讯云服务器安全可靠高性能,多种配置供您选择 http://cloud.tencent.com/act/pro/voucherslist 先举例说说“按重要级分割”,在网络游戏中,同样是角色的数据,有些数据的变化可能会每次修改都立刻回写到数据库

80000

高性能服务器架构思路(五)——分布式缓存

在分布式程序架构中,如果我们需要整个体系有更高的稳定性,能够对进程容灾或者动态扩容提供支持,那么最难解决的问题,就是每个进程中的内存状态。...著名的 DNS 系统的缓存就是接近这种策略:我们要修改某个域名对应的 IP,并不是立刻在全球所有的 DNS 服务器上生效,而是需要一定时间广播修改给其他服务区。...而我们每个 DNS 服务器,都具备了大量的其他域名的缓存数据。 总结 在高性能服务器架构中,常用的缓存和分布两种策略,往往是结合到一起使用的。...虽然这两种策略,都有无数种不同的表现形式,成为各种各样的技术流派,但是只有清楚的理解这些技术的原理,并且和实际的业务场景结合起来,才能真正的做出满足应用要求的高性能架构

37930

高性能服务器架构思路( 五 ) : 分布式缓存

在分布式程序架构中,如果我们需要整个体系有更高的稳定性,能够对进程容灾或者动态扩容提供支持,那么最难解决的问题,就是每个进程中的内存状态。...著名的DNS系统的缓存就是接近这种策略:我们要修改某个域名对应的IP,并不是立刻在全球所有的DNS服务器上生效,而是需要一定时间广播修改给其他服务区。...而我们每个DSN服务器,都具备了大量的其他域名的缓存数据。 总结 在高性能服务器架构中,常用的缓存和分布两种策略,往往是结合到一起使用的。...虽然这两种策略,都有无数种不同的表现形式,成为各种各样的技术流派,但是只有清楚的理解这些技术的原理,并且和实际的业务场景结合起来,才能真正的做出满足应用要求的高性能架构

5.2K21

高性能网站架构方案

,从而降低服务器响应时间。...优化数据库 使用负载均衡 把流量分配到更多的服务器上,实现负载均衡的方法有很多种,如HTTP重定向,基于DNS的轮询解析,反向代理服务器。...MYSQL稳定性提高方案:主从复制 主从复制功能通过在主服务器和从服务器之间切分处理客户查询的负荷,可以得到更好的客户响应时间SELECT查询可以发送到从服务器,以降低主服务器的查询处理负荷。...修改数据的语句发送到主服务器,以使主从服务器保持同步。 MYSQL主从复制的优点: 增加健壮性。主服务器出现问题时,可以切换到从服务器作为备份。 优化响应时间。...不要同时在主从服务器上进行更新,这样可能引起冲突。 在从服务器备份过程中,主服务器继续处理更新。

92851

高性能服务器架构思路(五)——分布式缓存

在分布式程序架构中,如果我们需要整个体系有更高的稳定性,能够对进程容灾或者动态扩容提供支持,那么最难解决的问题,就是每个进程中的内存状态。...著名的 DNS 系统的缓存就是接近这种策略:我们要修改某个域名对应的 IP,并不是立刻在全球所有的 DNS 服务器上生效,而是需要一定时间广播修改给其他服务区。...而我们每个 DNS 服务器,都具备了大量的其他域名的缓存数据。 总结 在高性能服务器架构中,常用的缓存和分布两种策略,往往是结合到一起使用的。...虽然这两种策略,都有无数种不同的表现形式,成为各种各样的技术流派,但是只有清楚的理解这些技术的原理,并且和实际的业务场景结合起来,才能真正的做出满足应用要求的高性能架构

35000

高性能网站架构方案

,从而降低服务器响应时间。...优化数据库 使用负载均衡 把流量分配到更多的服务器上,实现负载均衡的方法有很多种,如HTTP重定向,基于DNS的轮询解析,反向代理服务器。...MYSQL稳定性提高方案:主从复制 主从复制功能通过在主服务器和从服务器之间切分处理客户查询的负荷,可以得到更好的客户响应时间SELECT查询可以发送到从服务器,以降低主服务器的查询处理负荷。...修改数据的语句发送到主服务器,以使主从服务器保持同步。 MYSQL主从复制的优点: 增加健壮性。主服务器出现问题时,可以切换到从服务器作为备份。 优化响应时间。...不要同时在主从服务器上进行更新,这样可能引起冲突。 在从服务器备份过程中,主服务器继续处理更新。 640.jpg

1.2K80

架构设计之二——高性能架构

高性能关系型数据库 读写分离 读写分离的基本原理是将数据库读写操作分散到不同的节点上。...约束的问题,以 MongoDB 为代表•列式数据库:解决关系数据库大数据场景下的 I/O 问题,以 HBase 为代表•全文搜索引擎:解决关系数据库的全文搜索性能问题,以 Elasticsearch 为代表 高性能缓存架构...正确的做法是设定一个过期时间范围,不同的缓存副本的过期时间是指定范围内的随机值 实现方式 •程序代码实现”的中间层方式•独立的中间件 单机服务器高性能模式 高性能架构设计主要集中在两方面 •尽量提升单服务器的性能...,将单服务器的性能发挥到极致•如果单服务器无法支撑性能,设计服务器集群方案单服务器高性能的关键,服务器采取的并发模型:•服务器如何管理连接•服务器如何处理请求 PPC和TPC PPC Process Per...负载均衡 高性能集群的复杂性主要体现在需要增加一个任务分配器,以及为任务选择一个合适的任务分配算法。

40930

如何构建可持续的ChatGPT高性能服务器架构?

ChatGPT的高性能运行离不开一个稳定的服务器架构。建立可持续的服务器架构,不仅可以保障ChatGPT的稳定性和可靠性,还有助于减少能源消耗、降低成本和支持企业的可持续发展战略。...因此,本文将探讨如何构建可持续的ChatGPT高性能服务器架构。 超越“以往的桎梏”ChatGPT突破还是AI延伸?...,满足用户对低时延的要求;云层则由高性能服务器等设备组成,可以处理复杂的计算任务。...我们认为,AI服务器作为承载智能算力运算的主要基础设施,有望受益于下游需求放量。 总结 ChatGPT是一个高性能的文件传输协议,需要一个可持续的服务器架构来支持它的持续发展。...可持续的ChatGPT高性能服务器架构需要考虑多个因素,包括用户需求、基础架构选择、可扩展性设计以及安全和可靠性保障。通过综合评估这些要素并采取相应的措施。

91110

高性能服务器架构思路(三)——分布式系统概念

任何的服务器的性能都是有极限的,面对海量的互联网访问需求,是不可能单靠一台服务器或者一个CPU来承担的。...所以我们一般都会在运行时架构设计之初,就考虑如何能利用多个 CPU、多台服务器来分担负载,这就是所谓分布的策略。分布式的服务器概念很简单,但是实现起来却比较复杂。...当我们掌握了操作系统的多进程技术后,我们就可以把服务器上的运行任务,分为多个部分,然后分别写到不同的程序里,利用上多 CPU 或者多核,甚至是多个服务器的CPU一起来承担负载。...多进程利用多CPU 这种划分多个进程的架构,一般会有两种策略:一种是按功能来划分,比如负责网络处理的一个进程,负责数据库处理的一个进程,负责计算某个业务逻辑的一个进程。...Nginx的固定多进程,一个进程异步处理多个客户端 Apache的多态多进程,一个进程处理一个客户 在现代服务器端软件中,nginx这种模型的运维管理会更简单,性能消耗也会稍微更小一点,所以成为最流行的进程架构

47740

高性能服务器架构思路(三)——分布式系统概念

任何的服务器的性能都是有极限的,面对海量的互联网访问需求,是不可能单靠一台服务器或者一个CPU来承担的。...所以我们一般都会在运行时架构设计之初,就考虑如何能利用多个 CPU、多台服务器来分担负载,这就是所谓分布的策略。分布式的服务器概念很简单,但是实现起来却比较复杂。...当我们掌握了操作系统的多进程技术后,我们就可以把服务器上的运行任务,分为多个部分,然后分别写到不同的程序里,利用上多 CPU 或者多核,甚至是多个服务器的CPU一起来承担负载。...多进程利用多CPU 这种划分多个进程的架构,一般会有两种策略:一种是按功能来划分,比如负责网络处理的一个进程,负责数据库处理的一个进程,负责计算某个业务逻辑的一个进程。...Nginx的固定多进程,一个进程异步处理多个客户端 Apache的多态多进程,一个进程处理一个客户 在现代服务器端软件中,nginx这种模型的运维管理会更简单,性能消耗也会稍微更小一点,所以成为最流行的进程架构

63200

高性能服务器架构思路 :分布式系统概念 ( 三 )

任何的服务器的性能都是有极限的,面对海量的互联网访问需求,是不可能单靠一台服务器或者一个CPU来承担的。...所以我们一般都会在运行时架构设计之初,就考虑如何能利用多个CPU、多台服务器来分担负载,这就是所谓分布的策略。分布式的服务器概念很简单,但是实现起来却比较复杂。...当我们掌握了操作系统的多进程技术后,我们就可以把服务器上的运行任务,分为多个部分,然后分别写到不同的程序里,利用上多CPU或者多核,甚至是多个服务器的CPU一起来承担负载。...[image.gif] 多进程利用多CPU 这种划分多个进程的架构,一般会有两种策略:一种是按功能来划分,比如负责网络处理的一个进程,负责数据库处理的一个进程,负责计算某个业务逻辑的一个进程。...,性能消耗也会稍微更小一点,所以成为最流行的进程架构

15K50
领券