Stack Overflow 2016最新架构探秘

这篇文章主要揭秘 Stack Overflow 截止到 2016 年的技术架构。

  首先给出一个直观的数据,让大家有个初步的印象。

  相比于 2013 年 11 月,Stack Overflow 在 2016 年 02 月统计数据有较大变化,下面给出 2016 年 02 月 09 号一天的数据,如下:

  • HTTP 请求数 209,420,973 (+61,336,090)
  • 网页加载次数 66,294,789 (+30,199,477)
  • HTTP 流量发送有1,240,266,346,053 (+406,273,363,426) 字节 (1.24 TB)
  • 接收数据总量 569,449,470,023 (+282,874,825,991) 字节(569 GB)
  • 发送数据总量3,084,303,599,266 (+1,958,311,041,954) 字节 (3.08 TB)
  • SQL 查询数(HTTP 请求)504,816,843 (+170,244,740)
  • Redis 命中数5,831,683,114 (+5,418,818,063)
  • Elastic 查询次数 17,158,874 (未计入 2013 年的数据)
  • 标签引擎请求次数3,661,134 (+57,716)
  • SQL 查询耗时 607,073,066 (+48,848,481) 毫秒 (168 小时)
  • Redis 命中耗时 10,396,073 (-88,950,843) 毫秒 (2.8 小时)

  你很难想象到 .NET 技术架构能够在每天 6100 万请求的情况下减少 757 小时的处理时间(相比于 2013 年)。这些改善既得益于2015 年早期的硬件设备升级,也跟软件的性能优化有极大的关系。

  那么最近两年在硬件上有什么变化呢?以下为截止到目前为止的硬件列表:

  • 4 台数据库服务器(微软 SQL Server),其中两台更新硬件配置
  • 11 台 Web 服务器(IIS),都已更新硬件配置
  • 2 台分布式缓存和消息处理服务器(Redis),都已更新硬件配置
  • 3 台应用服务器(实现了 tag 引擎功能),其中两台为新硬件配置
  • 3 台搜索服务器(ElasticSearch),配置同 2013 年
  • 4 台负载均衡服务器(HAProxy),其中新增加的两台用于支持 CloudFlare 的 CDN 加速服务
  • 2 台网络交换机(每个都是 Cisco Nexus 5596 + Fabric Extenders,并升级网卡 10Gbps)2 台 Fortinet 800C(替代 2 台 Cisco 5525-X ASA 防火墙)
  • 2 台 Ciso ASR-1001 路由器(替代 2 台 Cisco 3945 路由器)
  • 2 台 Ciso ASR-1001-x 路由器

  为了支撑 Stack Overflow 运行,那需要做点什么呢?其实跟 2013 年相比并没有什么显著变化,只是做了前面提到的硬件升级和程序的性能优化。

  现有系统一般都不会完全隔离开来,Stack Overflow 也不列外。一图胜千言,下面给出 Stack Overflow 的整体架构效果图。本篇文章仅给出硬件整理的逻辑架构的亮点,具体的硬件细节部分将在下一篇文章详细介绍。

  图 1 是机架A(在 2015 年 2 月升级的)的实物图片展示。

图1

  现在来给出主要系统的逻辑架构图,如图2。

图2

  基本规则

  首先给出全局的通用规则

  • 万事需要备份
  • 所有服务器和网络交换机要至少 2 x 10Gbps 带宽
  • 所有服务器配备两个电源(带有 UPS 电源备用)
  • 所有服务器在机架A和B上互为冗余
  • 所有服务器和服务都有异地双活(纽约机房和科罗拉多州机房)

网络服务

  首先,用户去 Stack Overflow 网站浏览就要通过 Internet。为了让用户浏览网站的速度更快 Stack Overflow 采用 CloudFlare 的 CDN 加速。这里使用 CloudFlare 服务是因为它们的 CDN 服务器遍布全球。

  紧接着,用户的 HTTP 流量通过四大 ISP 提供商(Level 3,Zayo,Cogent 和 Lighttower),经过四台路由器。Stack Overflow 通过标准的边界网关协议(BGP)来均衡所有的流量以便用户更有效率的打开网站。Stack Overflow 的工程师 Nick Craver 建议在两个异地数据中心采用一个 10 Gbps MPLS,这样在出现突发情况下可以快速的恢复和复制数据。

 负载均衡(HAProxy)

  负载均衡使用的 HAProxy 1.5.15 和 CentOS 7,并在 HAProxy 加入安全传输层协议(TLS/SSL)。后续会升级 HAProxy 到 1.6 版本来支持 HTTP/2。

  负载均衡器配备 2 对 10Gbps 网络。Stack Overflow 通过加内存来有效的解决安全套接层(SSL)问题。缓存安全传输层协议(TLS)会话到内存加以重复使用,这样可以减少对于同一台客户端连接的重复计算,到达提升会话的速度和成本。况且 RAM 相当便宜,实现了双赢的效果。

  负载均衡器的设置是相当的简单。它们监听各路 IPs,并进行路由分发。Stack Overflow 还做了负载均衡限流和监控 HAProxy 的日志做到及时报警。

  Web 层架构(IIS 8.5,ASP.Net MVC 5.2.3,和 .Net 4.6.1)

  Stack Overflow 经过负载均衡层导入流量到 9 台 Web 服务器(“primary”服务器),另外两台做网站元数据等环境管理。除 meta.stackoverflow.com 和 meta.stackexchange.com 外,Stack Overflow、Careers 和 Stack Exchange 网站业务都在“primary”服务器运行。

  在监控平台 Opserver 上可以看到,Stack Overflow 在 Web 层的分布,见图3

  图3

  更直观的看下对应的 web 服务器的图形展示,见图4

图4

  服务层(IIS,ASP.Net MVC 5.2.3, Net 4.6.1 和 HTTP.SYS)

  在整体逻辑架构图上可以清晰的看到,紧挨着 Web 层的是服务层(部署在 Window 服务器 Windows 2012R2 上)。其有两个重要的功能:tag 应用服务器(基于 http.sys)和 API(基于 IIS)。为了提升这两个服务做了非常多的冗余,但不超过 9 倍的冗余。举个列子,从数据库加载所有的网页和对应的 tags 变化(每n分钟(当前设置为 2 分钟))是非常耗时的。这里只需要加载三次即可保证安全。Stack Overflow 也同时在硬件层做了相关的优化。Tag 应用服务是一个比较复杂的 topic,这里简单说下,当你访问/questions/tagged/java 就使用 tag 应用服务。还有所有/search 和导航也都是用的这些数据服务。

  缓存&发布/订阅(Redis)

  Stack Overflow 在缓存层用 Redis,Redis 服务器 256GB 内存,采用 master/slave 结构部署,尽管每个月 16000 万的 ops,每个实例的 CPU 使用率也在2% 之下。

图5

  Redis 所在服务器有 L1/L2 高速缓存,Web 服务的 HTTP 缓存设置在一级缓存 L1 中,Redis 缓存在二级缓存 L2。当用户访问在一级缓存 L1 中未命中后会去二级缓存中的 Redis 取值,这些值以 Protobuf 格式存储,并以 protobuf-dot-net 解析。Redis 客户使用的 StackExchange.Redis(Stack Overflow 内部实现并开源了)。如果 web 服务在 L1 和 L2 两级缓存都未命中,则会直接去原始数据源获取(比如,数据库查询,API 回调等),然后并把获取到的结果缓存到本地和 Redis 中,这时其它服务未命中 L1 高速缓存便会去二级缓存 L2/Redis 中获取,节省了调用数据库查询或者 API 回调的访问时间。

  大部分运行的问答网站都有自己的 L1/L2 高速缓存,通过 L1 缓存 Key 前缀、L2/Redis 缓存数据库 ID。

  尽管 Redis 主要是用来缓存,但也起到一个消费和订阅的功能,Redis 可以推送一个消息,然后其他订阅者来订阅消息(包括下游的 Redis 从库在订阅消息)。

 Websockets (NetGain)

  Websockets 实时的推送消息(比如,顶栏的通知,投票,新的答案和评论)给用户。

  Sockets 服务器运行在 web 层,NetGain 是 Stack Overflow 实现的一个轻量级高性能实时的开源消息中间件。高峰期可达到 50 万并发的 websocket 连接。

  下图展示的是一周 websocket 并发情况:

图6

Search (Elasticsearch)

  Stack Overflow 的工程师 Nick Craver 表示搜索层并没有激动人心的部分。在 web 层采用 Elasticsearch 1.4,并内部实现了高性能的 StackExchange.Elastic 客户端,此部分代码未开源。Stack Overflow 使用 Elastic 来查询相关的问答。

  每个数据中心都有一个 Elasticsearch 集群,包含三个节点,每个都建有自己的索引。三个 Elasticsearch 集群全部使用 SSD 存储,192GB 内存和双 10Gbps 网卡。

  Stack Overflow 使用 Elasticsearch 代替先前的 SQL 全排索引,主要因素是:Elasticsearch 的扩展性和低成本。

  数据库(SQL Server)

  SQL Server 是 Stack Overflow 唯一的源数据库,所有 Elastic 和 Redis 的数据都来自 SQL Server。使用微软的 SQL Server 监控组件 AlwaysOn Availability Groups 部署了两个 SQL Server 集群。每个集群有一个主库,一个数据备份在纽约,另一个数据备份在 Colorrado 数据中心。所有备份是异步复制。

  第一个集群硬件配置:Dell R720xd 服务器,384G 内存,4TB SSD 存储,双 12 核 CPU;第二个集群硬件配置:Dell R730xd 服务器,768G 内存,4TB SSD 存储,双 8 核 CPU。

  所有数据库过去 24 小时 CPU 监控图如图 7 所示,大部分情况 CPU 使用率较低,偶尔做下缓存任务时会高些。图中 NY-SQL02 和 04 是主库,01 和 03 是备份库。

图7

  纵观全文,Stack Overflow 整体架构并没有采用那些非常高端的技术,却造就了一个 IT 界最受欢迎的问答网站之,这是非常不错的。其中每项使用到的技术都进行了深入的研究并开源分享给社区,国内的公司可以从中获得一些启发。

原文发布于微信公众号 - 我为Net狂(dotNetCrazy)

原文发表时间:2016-03-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据

Kafka详细的设计和生态系统

Kafka 的核心是经纪人,主题,日志,分区和集群。核心也包括像 MirrorMaker 这样的相关工具。前面提到的是 Kafka,因为它存在于 Apache ...

1.1K10
来自专栏乐享123

How to Improve Performance Your Cmd by Parallel

14230
来自专栏逸鹏说道

大公司都有哪些开源项目之腾讯

1.WeUI 为微信Web服务量身设计 WeUI 是一套同微信原生视觉体验一致的基础样式库,由微信官方设计团队为微信 Web 开发量身设计,可以令用户的使用感知...

51860
来自专栏TEG云端专业号的专栏

解密腾讯云分布式块存储系统 : HCBS实现机制

HCBS 是一种两层架构的分布式存储,用户IO与后端存储池以直通的方式交互,两层架构的好处是将 IO 路径化繁为简,既降低了因网络通信带来的 IO 延时,同时也...

2.5K40
来自专栏ImportSource

NoSQL-ReadConsistency-读取一致性

翻译内容: NoSQL Distilled 第五章 Consistency 一致性 作者简介: ? 本节摘要: 一致性向来是分布式...

34150
来自专栏何俊林

Python爬虫之如何爬取抖音小姐姐的视频

这次爬的是当下大火的APP--抖音,批量下载一个用户发布的所有视频。各位也应该知道,抖音只有移动端,官网打开除了给你个APP下载二维码啥也没有,所以相比爬PC网...

60230
来自专栏安恒信息

预警 | Windows再爆SMB服务0day漏洞 安恒信息提供一键修复工具

在刚刚结束的2017年度DEFCON大会上,安全研究人员曝光了一个潜伏在Windows系统上长达20年之久的安全漏洞。该漏洞被命名为SMBLoris,攻击者使用...

357110
来自专栏猫哥学前班

猫哥网络编程系列:详解 BAT 面试题

从产品上线前的接口开发和调试,到上线后的 bug 定位、性能优化,网络编程知识贯穿着一个互联网产品的整个生命周期。不论你是前后端的开发岗位,还是 SQA、运维等...

478120
来自专栏漫漫全栈路

ASP.NET MVC学习笔记01初始

技术栈跳来跳去,最后还是选择回归最初。从Asp.Net的WebFrom到PHP到Python的Django,最后还时回到了最熟悉的.net平台。三层之前只做过...

37460
来自专栏admin

无所谓

VPS有很多种玩法,在墙上打洞是最常见的玩法之一。打洞方法多种多样,其中以PPTP最为常见,也是配置起来最为简便的方式之一。 本脚本只需执行一次即可将PPTP服...

44440

扫码关注云+社区

领取腾讯云代金券