首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大型网站技术架构(二)--大型网站架构演化

何谓大型网站 大型网站系统特点: ps:符合这些要求的所谓大型网站真的很少,可遇而不可求也。...说到大型网站,就要先理一下大型网站的特点:高并发,大流量,高可用,海量数据等,本文根据《大型网站技术架构》一书整理如下: 初始阶段的网站架构 初始阶段都比较简单,通常一台服务器就可以搞定一个网站了,ssm-demo...使用分布式文件系统和分布式数据库系统 任何强大的单一服务器都满足不了大型网站持续增长的业务需求。 分布式数据库时网站数据库拆分的最后手段,只用在单表数据规模非常大的时候才使用。...使用NoSQL和搜索引擎 搜素引擎也基本已经形成现在大型网站必须提供的功能了,网站需要采用一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。...业务拆分 大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将真个网站业务拆分成不同的产品线。 具体到技术上,也会根据产品线话费,将一个网站拆分成许多不同的应用,每个应用独立部署维护。

2K60

漫谈大型网站架构

作者介绍:陈康贤(花名龙隆),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验,对新技术有浓厚的兴趣 。...大型网站架构从来都不是一个预先定义的架构,而是一个演进式的架构。...很少有一个网站从建站开始,就能够因具备大型网站的所有属性而一成不变的,从最简单的LAMP架构,再到基于IOE的大型集中式应用架构,再演变成时下的分布式应用架构,随着网站用户规模的扩大,架构也在不断演进。...当前支撑大型网站的几大核心技术,分布式、服务化、虚拟化,其中分布式解决的是规模化带来的问题,所谓的规模化即包括数据规模越来越大,访问量越来越高,也包括开发团队规模越来越大,工程代码规模越来越大。...作为大型网站架构中最重要的中间件,服务化框架简化了服务调用所涉及的对象序列化与反序列化,通信协议,服务路由等操作,以及到后来诞生的一个新名词—服务治理,去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题

96320
您找到你想要的搜索结果了吗?
是的
没有找到

大型网站架构总结

一、大型网站的特点 用户多,分布广泛 大流量,高并发 海量数据,服务高可用 安全环境恶劣,易受网络攻击 功能多,变更快,频繁发布 从小到大,渐进发展 以用户为中心 免费服务,付费体验 二、大型网站架构目标...三、大型网站架构模式 ? 分层:一般可分为,应用层,服务层,数据层,管理层,分析层; 分割:一般按照业务/模块/功能特点进行划分,比如应用层分为首页,用户中心。...),NOSQL等; 五、高可用架构 大型网站应该在任何时候都可以正常访问。...因为大型网站的复杂性,分布式,廉价服务器,开源数据库,操作系统等特点。要保证高可用是很困难的,也就是说网站的故障是不可避免的。 如何提高可用性,就是需要迫切解决的问题。...十、大型架构举例 ? 以上采用七层逻辑架构,第一层客户层,第二层前端优化层,第三层应用层,第四层服务层,第五层数据存储层,第六层大数据存储层,第七层大数据处理层。 客户层:支持PC浏览器和手机APP。

1.5K60

大型网站技术架构

缩短业务流程,加快网站访问速度 消除并发访问高峰 架构五要素: 高性能 可用性(Availability) 伸缩性(Scalability) 扩展性(Extensibility) 安全性 1、高性能 性能的测试指标主要有...: 响应时间:指应用执行一个操作需要的时间 并发数:指系统能够同时处理请求的数目 QPS:指单位时间内系统处理的请求量 系统性能计数器:描述服务器或者操作系统性能的一些数据指标 性能优化,根据网站分层架构...警报系统 自动优雅降级 用户行为日志采集(服务器端和客户端) 服务器性能监控 监控数据采集 监控管理 3、伸缩性 大型网站需要面对大量用户的高并发访问和存储海量数据,不可能只用一台服务器就处理全部用户请求...“开闭原则”,构建可扩展的网站架构 利用分布式消息队列降低耦合性 分布式消息队列 事件驱动架构(Event Driven Architecture) 利用分布式服务打造可复用的业务平台 分布式服务框架设计...(Thrift,Dubbo) 可扩展的数据结构(如 HBase的 ColumnFamily 设计) 利用开放平台建设网站生态圈 5、网站的安全架构 XSS 攻击和 SQL 注入攻击是构成网站应用攻击最主要的两种手段

1.5K60

大型网站架构演化

由于网络的问题,这两天我会发一下架构方面的知识,谢谢大家的支持。 说道网站,就的先说网站的特点:高并发,大流量,高可用,海量数据等。下面就说说网站架构演化过程吧。...1、初始阶段的网站架构 初始阶段都比较简单,通常一台服务器就可以搞定一个网站了,看图。 ?...7、使用分布式文件系统和分布式数据库系统任何强大的单一服务器都满足不了大型网站持续增长的业务需求。 分布式数据库是将网站数据库拆分的最后手段,只用在单表数据规模非常大的时候才使用。...8、使用NoSQL和搜索引擎 搜素引擎也基本已经形成现在大型网站必须提供的功能了,网站需要采用一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。 ?...9、业务拆分 大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将网站业务拆分成不同的产品线。 具体到技术上,也会根据产品线花费,将一个网站拆分成许多不同的应用,每个应用独立部署维护。

1K10

大型网站技术架构

缩短业务流程,加快网站访问速度 消除并发访问高峰 架构五要素: 高性能 可用性(Availability) 伸缩性(Scalability) 扩展性(Extensibility) 安全性 1、高性能 性能的测试指标主要有...: 响应时间:指应用执行一个操作需要的时间 并发数:指系统能够同时处理请求的数目 QPS:指单位时间内系统处理的请求量 系统性能计数器:描述服务器或者操作系统性能的一些数据指标 性能优化,根据网站分层架构...警报系统 自动优雅降级 用户行为日志采集(服务器端和客户端) 服务器性能监控 监控数据采集 监控管理 3、伸缩性 大型网站需要面对大量用户的高并发访问和存储海量数据,不可能只用一台服务器就处理全部用户请求...“开闭原则”,构建可扩展的网站架构 利用分布式消息队列降低耦合性 分布式消息队列 事件驱动架构(Event Driven Architecture) 利用分布式服务打造可复用的业务平台 分布式服务框架设计...(Thrift,Dubbo) 可扩展的数据结构(如 HBase的 ColumnFamily 设计) 利用开放平台建设网站生态圈 5、网站的安全架构 XSS 攻击和 SQL 注入攻击是构成网站应用攻击最主要的两种手段

1.2K30

大型网站架构演化

本文为《大型网站技术架构 核心原理与案例分析》读书笔记 大型网站架构演化 1 大型网站软件的特点 1.1 高并发,大流量 1.2 海量数据 存储及管理海量数据,需要大量服务器 1.3 高可用: 7...* 24 小时服务 1.4 用户分布广泛,网络环境复杂 1.5 安全环境恶劣 大型网站几乎每天都被黑客攻击 1.6 需求快速变更,发布频繁 1.7 渐进式发展 2 大型网站架构演化过程 2.1 单台服务器...2.4 应用服务器集群 ① 集群的优势 集群的应用,旨在改善网站并发高的问题,能有效改善网站的并发处理能力。...2.9 业务拆分 由于大型网站业务复杂,通过将整站的业务拆分成不同的产品达到分而治之的目的。...3 扩展阅读 mysql 主从复制原理 反向代理服务器的工作原理 说说分布式文件存储系统-基本架构 浅谈分布式数据库该如何学习和实践 上篇 HBase全网学习资料汇总

91210

大型网站技术架构

网站都是从小网站一步一步发展为大型网站的,而这之中的挑战主要来自于庞大的用户、安全环境恶劣、高并发的访问和海量的数据,任何简单的业务处理,一旦需要处理数以 P 计的数据和面对数以亿计的用户时,问题就会变的很棘手...下面我们就来说说这个演变过程: 初始阶段 大型网站都是由小型网站演变而来的,网站架构也一样 小型网站最开始没有太多人访问,只需要一台服务器就绰绰有余,就像这样: ?...小型网站架构 应用程序、数据库、文件等所有资源都在一台服务器上,通常使用 Linux PHP MySQL Apache 就可以完成整个项目部署,然后再买个域名,租一个廉价的服务器就可以开始我们的网站之旅了...对于大型网站而言,无论多么强大的服务器,都满足不了持续增长的业务需求,更高效的方式就是增加服务器来分担压力 对于网站架构而言,如果增添一台新的服务器可以改善负载压力,那么就可以使用同样的方式来应对源源不断的业务需求...使用搜索引擎和nosql 业务拆分 对于大型网站,我们可以分而治之,把整个网站的业务分为不同的模块,比如大型的交易购物完整可以分为首页、店铺、订单、买家等,分别交给不同的业务团队来负责 同时我们将一个网站根据模块划分拆分成多个应用

1.8K80

漫谈大型网站架构

作者介绍:陈康贤(花名龙隆),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验,对新技术有浓厚的兴趣 。...大型网站架构从来都不是一个预先定义的架构,而是一个演进式的架构。...很少有一个网站从建站开始,就能够因具备大型网站的所有属性而一成不变的,从最简单的LAMP架构,再到基于IOE的大型集中式应用架构,再演变成时下的分布式应用架构,随着网站用户规模的扩大,架构也在不断演进。...当前支撑大型网站的几大核心技术,分布式、服务化、虚拟化,其中分布式解决的是规模化带来的问题,所谓的规模化即包括数据规模越来越大,访问量越来越高,也包括开发团队规模越来越大,工程代码规模越来越大。...作为大型网站架构中最重要的中间件,服务化框架简化了服务调用所涉及的对象序列化与反序列化,通信协议,服务路由等操作,以及到后来诞生的一个新名词—服务治理,去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题

79610

大型网站架构演变

什么是大型网站? 有时候要下个定义挺难的,那么就从具体来说吧。博主曾经在京东工作过,大家都知道京东是个大型网站,这点应该没有异议。那它有哪些特点呢?...当我们的网站用户达到千万级别以上的时候,数据库负载能力就成为了瓶颈。既然数据库同时进行读、写操作压力很大,那么我们可以考虑进行读写分离。 ?...不是的,大型网站随着业务越来越多,越来越复杂,数据量也很大,如果采用上面的架构,显然一旦db扛不住了,那就over了。于是,又需要对db进行分库分表操作了。 ?...到这里,其实我们的网站,就处于一个微服务的阶段了。由于用户的一些请求,需要到达多个业务系统来完成,所以这里又出现分布式事务的问题。...在演变的过程中,除了架构的调整,我们还可能涉及到一些调优,比如JVM/db调优等。 小结 到这里,我们可以看到大型网站,并非一蹴而就,而是逐步演变、迭代升级的。朋友们,下篇见

98040

大型网站技术架构》读书笔记一:大型网站架构演化

此篇已收录至《大型网站技术架构》读书笔记系列目录贴,点击访问该目录可获取更多内容。...5)安全环境恶劣:黑客的攻击   (6)需求快速变更,发布频繁:快速适应市场,满足用户需求   (7)渐进式发展:慢慢地运营出大型网站 二、大型网站架构演化过程   (1)初始阶段网站架构:一台Server...就刚需—应用程序、数据库、文件等所有资源都集中在一台Server上,典型案例:基于LAMP架构的PHP网站 ?...三、大型网站架构演化价值观   (1)核心价值:随网站所需灵活应对   大型网站不是从无到有一步就搭建好一个大型网站,而是能够伴随小型网站业务的渐进发展,慢慢地演化成一个大型网站。...(2)驱动力量:网站的业务发展—业务成就了技术,事业成就了人,而不是相反 四、大型网站架构设计的误区   (1)一味追随大公司的解决方案   (2)为了技术而技术->常见问题   (3)企图用技术解决所有问题

88010

大型网站技术架构》读书笔记二:大型网站架构模式

此篇已收录至《大型网站技术架构》读书笔记系列目录贴,点击访问该目录可获取更多内容。 一、分层   最常见的架构模式,将系统在横向维度上切分成几个部分,每个部分单一职责。...但是,分层架构也有一些挑战:①必须合理规划层次边界和接口;②禁止跨层次的调用及逆向调用。...①CDN:内容分发网络,缓存网站的一些静态资源; ?   ②反向代理:部署在网站的前端,最先访问到的就是反向代理服务器; ?   ...异步架构是典型的生产者消费者模式,两者不存在直接调用,只要保持数据结构不变,彼此功能实现可以随意变化而不互相影响,这对网站扩展新功能非常便利。 ?   ...八、自动化   在无人值守的情况下,网站可以正常运行,一切都可以自动化是网站的理想状态。目前大型网站的自动化架构设计主要集中在发布运维方面。

76520

大型网站架构演化历程

大型网站架构主要就是解决这类问题。 本文内容大部分来自《大型网站技术架构》,这本书很值得一看,强烈推荐。 大型网站系统的特点 高并发,大流量 需要面对高并发用户,大流量访问。...一般大型网站的产品每周都有新版本发布上线,中小型网站的发布更频繁,有时候一天会发布几十次。 渐进式发展 几乎所有的大型互联网网站都是从一个小网站开始,渐进地发展起来的。...---- 大型网站架构演化发展历程 大型网站的技术挑战主要来自于庞大的用户,高并发的访问和海量的数据,任何简单的业务一旦需要处理数以 P 计的数据和面对数以亿计的用户,问题就会变得很棘手。...大型网站架构主要解决这类问题。 初始阶段的网站架构 大型网站都是从小型网站发展而来,网站架构也是一样,是从小型网站架构逐步演化而来。...大型网站架构演化到这里,基本上大多数的技术问题都得以解决,诸如跨数据中心的实时数据同步和具体网站业务相关的问题也都可以通过组合改进现有技术架构解决。关于分布式的内容,可以继续看分布式系列文章。

1.3K30

大型网站架构演进历程

Web 1.0 时代,几乎所有网站都是静态网站,没有和用户有什么交互,主要用于给用户展示内容。...在当前时期,数据库还是单库,不会做集群 前面虽然用到了一些缓存,但是还是有部分读操作落在数据库上,当用户超过百万、千万级别时,数据库的负载能力就成为了网站的瓶颈 几乎上是二八原则,80% 读,20%...一个大型网站的业务增长也是很快的,虽然做了读写分离,但是当数据库撑不住的时候,就需要使用 分库分表的架构 了 将单个数据库分成多个数据库,同一个表的数据散列在多个库中,此种架构是对数据库的最后手段,只有在数据非常非常庞大的时候才会考虑...随着网站的发展,用户对数据的检索可能会出现多样化,数据库可能就不满足了,可以引入 搜索引擎技术 对于大型网站的业务是非常非常复杂的,所谓合久必分,当业务处于非常非常复杂的时候,可以将一个大业务拆分成一个个独立的子系统...当将多个子系统整合在一起的时候就组成了一个大型的系统,对运维来说是个不小的挑战。

42120

大型网站架构技术模型

网站技术架构设计模式 1.1 分层 如下所示网站基本分层 ?...三层架构逻辑上可以部署在同一台物理机上,但随着网站业务的发展,必须要对已分层的模块进行分开部署,也就是三层结构分别部署在不同的服务器上。使网站拥有越来越多的计算资源以应对越来越多的用户访问。...另一方面便于不同模块分布式部署,提高网站的并发能力与功能处理能力。 例如一个大型网站将购物,论坛,搜索,广告分割成不同的应用。由独立的团队负责部署在不同的机器上。...1.3.3.3 分布式数据与存储 大型网站要处理以P为单位的海量数据,单台机器就算进行了磁盘扩容的情况下也存储不了那么多大的容量的时候就采用分布式存储,除了对传统数据库进行分布式部署外,还要对nosql...1.5.4 分布式缓存 大型网站的数据量非常庞大,即使只缓存一小部分,需要的内存空间也不是单机能承受的,所以除了本地缓存,还需要分布式缓存。将数据缓存在一个装门的分布式缓存集群中。

98630

大型网站技术架构》读书笔记三:大型网站核心架构要素

此篇已收录至《大型网站技术架构》读书笔记系列目录贴,点击访问该目录可获取更多内容。 一、性能—响应时间决定用户 (1)浏览器端:   ①浏览器缓存;   ②使用页面压缩; ?    ...全靠9来撑腰:几乎所有网站都承诺7*24小时可用,但事实上都不可能完全实现,总会有一些故障时间。那么,去除这些故障时间就是网站的总可用时间。...换算成网站的可用性指标,以此衡量网站的可用性,例如某些知名网站可用性达到99.99%。 (2)哪些手段提高可用性?   ...; (2)主要手段:   ①事件驱动架构:利用消息队列实现;   ②分布式服务:将业务和可复用服务分离; 五、安全性—妈妈再也不用担心的我的照片了 (1)何为安全性?...保护网站不受恶意访问和攻击,保护网站的重要数据不被窃取; (2)衡量标准:针对现存和潜在的攻击窃密手段,是否有可靠的应对策略; 本章思维导图 ?

48220

妄谈大型网站技术架构

引 网络架构这个问题,我认为不是一个后台、架构师等等才需要考虑的问题,不管是前端也好,移动端也好,都应该多考虑考虑这个层面的问题,包括之后公司对你的要求也是这样的,不是说你会写业务会写功能就很ok,而是要求你有更大...演化历程 先说一说每个做web的同学都应该了解一下的网站发展演化的历程。这个历程是怎么样的呢?...误区 在考虑架构时有一些误区是我们要避免的。 一个是不要在一开始就盲目地追随大公司的技术方案,比如腾讯怎么做的呀,淘宝怎么做的呀。...指标 我们的标题是大型网站技术架构,那什么样的架构才是好的网站架构呢?我们从下面几个方面来考量它: 性能。性能是我们平常说的最多的,最直白的来说就是响应速度。 可用性。可用性是什么?...参考书目:《大型网站技术架构:核心原理与案例分析》 查看作者首页

41720
领券