作者：夏天的森林 出处：cnblogs.com/sharpxiajun/p/4237704.html 一，题记 前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个小时信息量非常大，知识的广度和难度也非常大，培训完后我很难完整理出全部听到的知识，今天我换了个思路是回味这次培训，这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。 二，什么网站是大型网站 首先我们要思考一个问题，什么样的网站才是大型网站，从网站的技术指标角度考虑这个问题人们很容易犯一个毛病就是认
前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个小时信息量非常大，知识的广度和难度也非常大，培训完后我很难完整理出全部听到的知识，今天我换了个思路是回味这次培训，这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。 首先我们要思考一个问题，什么样的网站才是大型网站，从网站的技术指标角度考虑这个问题人们很容易犯一个毛病就是认为网站的访问量是衡量的指标，懂点行的人也许会认为是网站在单位时间里的并发量的大小来作为指标，如果按这些标准那么像hao123这样的网
注：mysql.scok文件是在mysql服务启动的时候产生的，当服务停止后会自动删除！看样子报错是由于缺少了这个文件。
前面介绍Redis，我们都在一台服务器上进行操作的，也就是说读和写以及备份操作都是在一台Redis服务器上进行的，那么随着项目访问量的增加，对Redis服务器的操作也越加频繁，虽然Redis读写速度都很快，但是一定程度上也会造成一定的延时，那么为了解决访问量大的问题，通常会采取的一种方式是主从架构Master/Slave，Master 以写为主，Slave 以读为主，Master 主节点更新后根据配置，自动同步到从机Slave 节点。
服务端开发对于任何互联网公司来讲，都并非易事，它所涉及的技术知识面非常广泛，如果开发人员的经验不足，将直接影响产品用户的体验。作为七牛云存储创始人,许式伟有着超过15年的编程经验，对于服务端开发那些事甚是了解。因此，在本文中，他将对服务端开发所涉及的各方面原理知识进行详细阐述，内容涵盖网络协议、操作系统原理、存储系统原理、模块设计、服务器设计等多方面。
半数以上投票通过：客户端的增删改操作无论访问到了哪台 ZooKeeper 服务器，最终都会被转发给 leader 服务器，再由 leader 服务器分给 ZooKeeper 集群中所有 follower 服务器去投票（投票指的是在内存中做增删改操作），半数投票通过就被认为操作可执行（commit），否则不可执行。
Gravata是Globally Recognized Avatar的缩写，意为“全球通用头像”。大部分博客系统都支持这一功能，WordPress2.5以后版本已集成该功能，如果你还没有自己的 Gravatar头像，请参考这篇《申请一个自己的Gravatar头像》也给自己弄个个性的头像。
消息中间件基本上是每一个大型互联网公司的标准基础技术组件配置，虽然有很多的开源消息中间件，功能也很强大，但是今天我还是想介绍一下怎样自主架构与设计并实现一套完整的分布式消息中间件。 开源的消息中间件或多或少存在一些所谓“坑”，没有遇到大家用得都很happy，遇到的同学就只有加班查资料、google搜索或者直接review开源代码寻找问题原因了。还有就是基本上开源的消息中间件一般都是大而全的功能，一般比较强调通用嘛。今天为大家介绍的是可以灵活横向扩展并且具有高性能的分布式消息中间件的架构设计，也会介
无论是我们在学校刚开始学编程，还是在刚参加工作开始处理实际问题，写出来的程序都是很简单的。因为面对的问题很简单。以处理数据为例，可能只是把一个几十K的文件解析下，然后生成一个词频分析的报告。很简单的程序，十几行甚至几行就搞定了。
在使用feign或者HTTP形式调用接口时，有可能会出现目标接口无法调通，目标服务器拒绝连接的情况。
HBase主要用ZooKeeper来实现HMaster选举与主备切换、系统容错、RootRegion管理、Region状态管理和分布式SplitWAL任务管理等。 HMaster选举与主备切换 HMaster选举与主备切换的原理和HDFS中NameNode及YARN中ResourceManager的HA原理相同。 系统容错 当HBase启动时，每个RegionServer都会到ZooKeeper的/hbase/rs节点下创建一个信息节点（下文中，我们称该节点为”rs状态节点”），例如/hbase/rs/
似乎有人不知道nodejs是支持多核的？v0.10 Cluster可以搭建nodejs多核服务。v0.12重写了Cluster，据说提升了非常大的性能。
http://www.cnblogs.com/ccdev/p/3338412.html
Redis在携程内部得到了广泛的使用，根据客户端数据统计，整个携程全部Redis的读写请求在每秒200W，其中写请求约每秒10W，很多业务甚至会将Redis当成内存数据库使用。 这样，就对Redis多数据中心提出了很大的需求，一是为了提升可用性，解决数据中心DR（Disaster Recovery）问题；二是提升访问性能，每个数据中心可以读取当前数据中心的数据，无需跨机房读数据。在这样的需求下，XPipe应运而生 。 从实现的角度来说，XPipe主要需要解决三个方面的问题，一是数据复制，同时在复制的过程中保
小明的公司有3个系统： 系统A、系统B和系统C ，这三个系统所做的业务不同，被部署在3个独立的机器上运行， 他们之间互相调用（当然是跨域网络的）， 通力合作完成公司的业务流程。
HA（High Availability）高可用集群，其特点为根据实际需求为前端Diretor,后端RS-server，数据库服务器，共享存储等集群节点做一个从备份服务器或者多个服务器互相备份，一旦主服务器挂掉，备份服务器能立马检测到并取代主服务器上的资源继续运行服务，从而最大限度避免了因服务器宕机造成的服务中止。 主节点（active/primary）备节点（passive/standby） 主调度器（Director）一般为集群中的关键节点，所以一般都有备份节点的存在；而后端RS-server可以
1.loadrunner压测tps上不去，压测java接口tps 单机只能到100多tps就上不去了，耗时从单次访问的100ms上升到110并发时的1s左右。 2. 压测期间C服务器1 经常不定时挂掉。
最近接手一个项目，基于Airflow实现ETL的功能。问题是这个ETL经常出问题，然后就是修数据，虽然有Airflow的优势，但是还是相当的烦人。我们项目都是基于Docker进行部署的，原来的启动方式是这样的：
用的是腾讯wafer的解决方案： 生产环境部署说明 https://cloud.tencent.com/document/product/619/11689
作者简介 孟文超，携程技术中心框架研发部高级经理。2016年加入携程，目前主要负责Redis多数据中心项目XPipe。此前曾在大众点评工作，任基础架构部门通信团队负责人。 Redis在携程内部得到了广泛的使用，根据客户端数据统计，整个携程全部Redis的读写请求在200W QPS/s，其中写请求约10W QPS/S，很多业务甚至会将Redis当成内存数据库使用。 这样，就对Redis多数据中心提出了很大的需求，一是为了提升可用性，解决数据中心DR(DisasterRecovery)问题；二是提升访问性能，每
记得我在学校的时候，做的那些项目，不是为了应付课程作业，就是为了参加比赛时展示用，因此对项目的质量要求非常低。
在之前的一篇文章《终端自动化测试探索之路》中提到过当发生断电等情况，服务器重启之后如何快速恢复自动化服务，这里针对这个问题具体讲讲我的实现方式。
跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器对JavaScript施加的安全限制。
参考博客：Hadoop HBase概念学习系列之HBase里的Zookeeper（二十一）
这次我们举个接近实际生产的例子，来说明开源SOC系统如何采集数据，如果之前介绍系统是抽象的，现在就是实例具象的。平时我们利用日志系统收集了大量的各类的日志数据，如：Openresty访问日志、防护墙日志、VPN日志、邮件服务器相关日志、用户权限审计日志、路由器操作日志、甚至包括办公区AP的日志，DHCP日志。
分布式锁，是控制分布式系统中访问共享资源的一种方式，如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。
对于分布式锁的实现，除了redis锁之外，还有很多，像zookeeper，memcache，数据库，chubby等。redis锁因为使用简单，所以被大家广泛使用。
目前大多数项目都在往分布式上发展，一旦系统采用分布式系统，便会引入更多复杂场景和解决方案。比如，当你在系统中使用了Elasticsearch、ZooKeeper集群时，你是否了解过集群的“脑裂”现象？又是否知道它们是如何解决脑裂问题的？
以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！ 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。
这是前两天腾讯一技术总监来华科做的一个演讲, 今天才整理出来. 因为里面有些内容好逗, 为了免除给大牛带来烦恼, 就不署名了. 都是纯纯的干货, 都是亲身经历获得的经验, 十分感谢这位大牛. 为了穿插成文, 里面有些我自己的想法, 如有错误, 谢谢指出, 和大牛无关. 大纲 提升系统性能主要从提高CPU利用率, 和减小IO入手. 提高CPU利用率 减小IO 异步/协程 机械硬盘顺序写 高并发epoll 内存共享 无锁化 cache失效过载 作者举了一个异步的例子, 是关于获取时间的. 获取时间涉及到内核
支付宝2015年发生了大规模的宕机事件，原因是杭州市萧山区某地光纤被挖断导致，为确保异地容灾、多活，后面专门进行了全链路单元化改造，整个交易链路都进行了单元化改造，并且经常在大促前夕进行单机房演练；
最近小破站崩了的事情相信很多朋友都听说了。 2021年7月13日晚上23:44分，亿级流量的平台崩了🤔
Tomcat突然挂了，重启后可以正常运行一段时间，不定时又会挂掉，没有明显错误日志。
摘要：运行几万台服务器的Netflix，提高系统可靠性的突破点，就是自动侦测那些有问题但用阈值法发现不了的服务器。Netflix使用了聚类分析算法中的Density-Based Spatial Clustering of Applications with Noise (DBSCAN) 算法。聚类算法是非监督式的，不需要进行数据标记和提供数据。 凌晨，时针指向两点，我们技术保障团队一半的人手还在追查Netflix出错的原因。系统看起来运行还算正常，肯定是有哪不对但我们死活也找不着。查了一个小时，终于发现原来
本文节选之 DDIA 《Design Data Intensive Applications》，DDIA是一本神书，是一本可以让很多高级资深工程师醍醐灌顶的书。
作者：波斯码 来源：http://blog.bossma.cn/consul/consul-service-register-and-discovery-style/?hmsr=toutiao.io&
很多网站会使用Smarty框架，其缓存机制减少了服务器的压力的同时提升了响应速度，优化了用户体验，是很有用的，但有个问题是其产生的大量缓存文件不会自动清理，这对于访问量巨大且页面多的网站是个很要命的事情，因为产生的大量缓存文件会占用很大的磁盘空间，如果长期不清理一个是浪费磁盘空间，二是容易不知不觉把服务器空间挤满了，导致网站挂掉。 有的博客分享的办法是写一个检查缓存文件创建时间的方法，每次初始化Smarty时检查一下，发现超过某个时间段后就删除掉，但我觉得这个办法不大好，因为每次初始化Smarty时都要检查文件实在是太浪费资源了，可能会影响响应速度，所以我采用的是通过定时任务，在服务器空闲时清空缓存文件夹的做法。 因为本身服务器的空间是足够大的，只要每天清理一次就足够了，所以使用的是crond的定时器来执行清理任务，代码如下：
该文讲述了通过分析 Node.js 程序运行时的内存快照来定位程序异常的方法。首先介绍了 Node.js 程序运行时内存快照的基本概念和作用，然后详细描述了如何利用 heapdump 工具进行内存快照的分析。最后，总结了通过分析内存快照发现程序异常的方法，并提供了一些最佳实践。
以前大学照着网上的项目视频做商城的时候，用到Redis。不过基本上都是用来当缓存，但是实际上的应用远不止缓存，所以今天分享一个分布式锁的场景和应用。
这样的方式可以确保leader的唯一性,要么选出唯一的一个leader,要么选举失败。在zookeeper中Quorums作用如下： 1] 集群中最少的节点数用来选举leader保证集群可用。 2] 通知客户端数据已经安全保存前集群中最少数量的节点数已经保存了该数据。
副本集（Replica Set）是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成。通过Replication，将数据的更新由Primary推送到其他实例上，在一定的延迟之后，每个MongoDB实例维护相同的数据集副本。通过维护冗余的数据库副本，能够实现数据的异地备份，读写分离和自动故障转移
用户如果想查询一个数据，会先在redis内存数据库中进行查询，redis中没有，再向持久层数据库中查询。
在介绍高可用架构的方案之前，先说一下什么是高可用架构，高可用架构应具备但不限于以下特征：
我们公司的网站做项目使用的是自己封装的Mysql查询函数（注意，是函数，不是过程），没有使用框架，使用的模板也是老板自己写的，所以做读写分离是件比较麻烦的事情。
在选择缓存时就纠结使用redis还是memcached作为数据库缓存，虽然心理原因对于我这种小博客使用哪一个差别应该都不大，抱着试试的心态，我把一台服务器上的两个WordPress分别使用了redis和memcached，虽然测试的时候只用了一个网站哈哈。
ZooKeeper 是 Apache 的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务，提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。由于 ZooKeeper 便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如 Hadoop、HBase、Kafka 和 Dubbo 等大型分布式系统中。
服务发现并没有怎样的高深莫测，它的原理再简单不过。只是市面上太多文章将服务发现的难度妖魔化，读者被绕的云里雾里，顿觉自己智商低下不敢高攀。
本篇将主要讲解微服务架构究竟指的是什么，它包括了哪些核心组件，它又能给我们带来哪些帮助。
提示：文章前面部分是关于nginx下https连接curl请求被reset的处理经历，不想看可以直接跳到最后看nginx快速定位异常，建议收藏！
CAP定理又叫布鲁尔定理，这个定理告诉我们在一个分布式系统中，不可能同时满足下面三点：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
