某初创企业的主营业务是为用户提供高度个性化的商品订购业务，其业务系统支持PC端、手机App等多种访问方式。系统上线后受到用户普遍欢迎，在线用户数和订单数量迅速增长，原有的关系数据库服务器不能满足高速并发的业务要求。 为了减轻数据库服务器的压力，该企业采用了分布式缓存系统，将应用系统经常使用的数据放置在内存，降低对数据库服务器的查询请求，提高了系统性能。在使用缓存系统的过程中，企业碰到了一系列技术问题。
描述：热键被大量客户端访问，导致大量网络流量集中在一台Redis服务器上，服务器宕机。
2、从库的IO线程在指定位置读取主库binlog内容存储到本地的中继日志（Relay Log）中
要完成二进制日志的传输过程，MySQL会在从服务器上启动一个工作线程，称为IO线程，这个IO线程会跟主数据库建立一个普通的客户端连接，然后在主服务器上启动一个特殊的二进制转储线程称为binlogdown线程。
在 Java 开发的海洋中，我们经常会遇到各种各样的异常，它们像隐形的杀手一样，悄无声息地影响着程序的稳定性和性能。今天，我们要深入探讨的是 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure 这个异常，它通常发生在与 MySQL 数据库交互时。本文将详细分析这个异常的产生原因、运行原理、作用，并总结相关知识点和应用场景。
对于任何一个企业来说，数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过，凡是涉及到数据的问题，都是损失惨重的大问题。
6月6日晚，林志玲与Akira公布婚讯、徐蔡坤祝福高考同学超常发挥，粉丝们百万的转发和点赞造成微博短暂宕机。
原文链接：http://www.itpub.net/2019/06/28/2306/
设计一个拥有上百万用户的系统是很有挑战性的，这将是一个不断优化、持续改进的过程。在本章中，我们先创建一个单用户的系统，然后逐渐将其扩展成可以服务上百万用户的系统。读完本章，你将掌握几个能帮助你破解系统设计面试难题的技巧。
万里征途总是从第一步开始的，构建一个复杂系统也是如此。我们从简单的部分着手，先让所有的功能都在一个服务器上运行。图1-1展示了如何配置单台服务器，让一切都在其上运行，包括Web应用、数据库、缓存等。
上节说到主从复制的一些问题 我们再来回忆一下 主从复制，增加了一个数据库副本，从数据库和主数据库的数据最终会是一致的 之所以说是最终一致，因为mysql复制是异步的，正常情况下主从复制数据之间会有一个微小的延迟 通过这个数据库副本看似解决了数据库单点问题，但并不完美 因为这种架构下，如果主服务器宕机，需要手动切换从服务器，业务中断不能忍受，不能满足应用高可用的要求
数据库服务器存在单点问题 数据库服务器资源无法满足增长的读写请求 高峰时数据库连接数经常超过上限
众所周知，设计一个拥有上百万用户的系统是很有挑战性的，这将是一个不断优化、持续改进的过程。
原文：https://segmentfault.com/a/1190000019460946
分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。
主要目的是实现数据库读写分离，写操作访问主数据库，读操作访问从数据库，从而使数据库具有更强大的访问负载能力，支撑更多的用户访问。
此篇已收录至《大型网站技术架构》读书笔记系列目录贴，点击访问该目录可获取更多内容。
缓存穿透，是指查询一个数据库一定不存在的数据。正常的使用缓存流程大致是，数据查询先进行缓存查询，如果key不存在或者key已经过期，再对数据库进行查询，并把查询到的对象，放进缓存。如果数据库查询对象为空，则不放进缓存。
通常我们对数据库的读和写都是在同一个数据库服务器中操作,但是当我们的数据量大的时候我们可能会考虑性能问题,那么为了提升系统性能,我们就可以通过MySQL的主从复制(读写分离)来减轻数据库的负载，并且如果当主数据库服务器宕机，我们数据库的数据也不会丢失，因为我们复制到了另外一个服务器上，甚至是多台数据库服务器（一主多从），而MySQL只支持一个主数据库多个数据库。
第12章 高可用性 高可用性实际上意味着更短的宕机时间。 100%的高可用性是不可能达到的，5个9意味着99.990%的正常可用时间，换句话说，每年只允许5分钟的宕机时间。 导致宕机的原因需要注意的地方： 运行环境中，最普遍的问题是磁盘空间耗尽。 性能问题中，最普遍是运行很糟糕的sql，糟糕的Schema和索引设计。 复制问题通常由于主备数据不一致导致的。 如何实现高可用性主要从两方面入手，避免宕机原因，减少宕机恢复时长。 提升失效平均失效时间的注意点： 测试恢复工具和流程，包括中备份中恢复数据。 遵循最小
我们之前了解了复制、扩展性，接下来就让我们来了解可用性。归根到底，高可用性就意味着 "更少的宕机时间"。
高可用性HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。
读写分离解决的是，数据库的写操作，影响了查询的效率，适用于读远大于写的场景。读写分离的实现基础是主从复制，主数据库利用主从复制将自身数据的改变同步到从数据库集群中，然后主数据库负责处理写操作（当然也可以执行读操作），从数据库负责处理读操作，不能执行写操作。并可以根据压力情况，部署多个从数据库提高读操作的速度，减少主数据库的压力，提高系统总体的性能。
数据是当今Web，移动，社交，企业和云应用程序的流行货币。确保数据始终可用是任何组织的头等大事。几分钟的停机时间可能会导致收入和声誉严重损失。
1.请求数量较高，大量的请求过来之后都需要去从缓存中获取数据，但是缓存中又没有，此时从数据库中查找数据然后将数据再存入缓存，造成了短期内对redis的高强度操作从而导致问题
读写分离的基本原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。一般来说都是通过 主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy）来提升数据库的并发负载能力这样的方案来进行部署与实施的。
mysql主从架构部署比较简单，常见架构根据主从节点个数不同分成 一主多从，多主一从，双主节点等。
缓存是互联网开发中必不可少的一部分，它能降低我们数据库的并发数，提高我们系统的性能，比如我们经常使用的redis、emCached等等，其中redis应该是大部分的人选，为什么？因为速度快，易上手，是很多开发者的首选，但是缓存同样存在着问题，如果使用的不恰当，也可能会造成非常严重的后果，这时候你可能就会有疑问，缓存只是存储一些数据而已，怎么会造成严重的后果呢？下面我就带大家一起来分析分析。
1、要将Mycat准备好可以去官网下载 http://www.mycat.org.cn/
这篇文章，我们来聊一下对于一个支撑日活百万用户的高并系统，他的数据库架构应该如何设计？
看到这个题目，很多人第一反应就是：分库分表啊！但是实际上，数据库层面的分库分表到底是用来干什么的，其不同的作用如何应对不同的场景，我觉得很多同学可能都没搞清楚。 用一个创业公司的发展作为背景引入—— 假如我们现在是一个小创业公司，注册用户就 20 万，每天活跃用户就 1 万，每天单表数据量就 1000，然后高峰期每秒钟并发请求最多就 10。 天呐！就这种系统，随便找一个有几年工作经验的高级工程师，然后带几个年轻工程师，随便干干都可以做出来。 因为这样的系统，实际上主要就是在前期进行快速的业务功能开发，搞一个单块系统部署在一台服务器上，然后连接一个数据库就可以了。 接着大家就是不停地在一个工程里填充进去各种业务代码，尽快把公司的业务支撑起来。 如下图所示：
oracle数据库，需要对kernel.shmmax shmmni shmall sem fs.file-max优化 web应用服务器，需要net.ipv4.ip_local_port_range tcp_tw_reuse somaxconn
MMM 即 Multi-Master Replication Manager for MySQL:mysql 多主复制管理器,基于 perl 实现,关于 mysql 主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入），MMM 也能对从服务器进行读负载均衡，所以可以用它来在一组用于复制的服务器启动虚拟 ip，除此之外，它还有实现数据备份、节点之间重新同步功能的脚本。MySQL 本身没有提供 replication failover 的解决方案，通过 MMM 方案能实现服务器的故障转移，从而实现 mysql 的高可用。MMM 不仅能提供浮动 IP 的功能，如果当前的主服务器挂掉后，会将你后端的从服务器自动转向新的主服务器进行同步复制，不用手工更改同步配置。这个方案是目前比较成熟的解决方案。
数据库专题（一） ——数据库优化 （原创内容，转载请注明来源，谢谢） 一、概述 数据库的优化通常分为三个方面：数据库DML、DQL的优化（即增删改查等SQL语句优化）；数据库设计优化（如索引设置、索引类型、表引擎、冗余字段、主键外键等）；数据库服务器和配置优化（如主从分离、读写分离等）。 根据不同的业务场景，需要进行不同的优化措施。 二、数据库语句优化 程序对数据库的操作，绝大部分来自查询，因此查询的优化至关重要，而大部分情况下，查询的优化在于索引命中率。网络上有很多查询优化的例子，在此主要说几点。
如何打造一个高可用、高性能、易扩展、可伸缩且安全的应用系统？相信这是困扰着无数开发者的难题，在这里我们以一个网站为例，来讨论一下如何做好大型应用系统的架构设计。
一、前言 随着社会的发展，技术的进步，以前的大型机架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的分布式架构，从大型机到分布式，经历了好几个阶段，我们弄明白各个阶段的架构，才能更好地理解和体会分布式架构的好处，那么本文我们就来聊聊分布式架构的演进过程，希望能给大家带来眼前一亮的感觉。 二、背景说明 我们都知道一个成熟的大型网站的系统架构并非一开始就设计的非常完美，也没有一开始就具备高性能、高并发、高可用、安全性等特性，而是随着用户量的增加、业务功能的扩展逐步演变过来的，慢
随着社会的发展，技术的进步，以前的大型机架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的分布式架构，从大型机到分布式，经历了好几个阶段，我们弄明白各个阶段的架构，才能更好地理解和体会分布式架构的好处，那么本文我们就来聊聊分布式架构的演进过程，希望能给大家带来眼前一亮的感觉。
sql server 作为目前主流的数据库，用户遍布世界各地。sql server也有一些比较成熟的主备方案，目前主要有：复制模式(发布-订阅模式)、镜像传输模式、日志传输模式、故障转移集群。后面会一一介绍介绍各自的优缺点。
某电子商务公司为了更好地管理用户，提升企业销售业绩，拟开发一套用户管理系统。该系统的基本功能是根据用户的消费级别、消费历史、信用情况等指标将用户划分为不同的等级，并针对不同等级的用户提供相应的折扣方案。在需求分析与架构设计阶段，电子商务公司提出的需求、质量属性描述和架构特性如下： (a)用户目前分为普通用户、银卡用户、金卡用户和白金用户四个等级，后续需要能够根据消费情况进行动态调整； (b)系统应该具备完善的安全防护措施，能够对黑客的攻击行为进行检测与防御； (c)在正常负载情况下，系统应在0.5秒内对用户的商品查询请求进行响应； (d)在各种节假日或公司活动中，针对所有级别用户，系统均能够根据用户实时的消费情况动态调整折扣力度； (e)系统主站点断电后，应在5秒内将请求重定向到备用站点； (f)系统支持中文昵称，但用户名要求必须以字母开头，长度不少于8个字符； (g)当系统发生网络失效后，需要在15秒内发现错误并启用备用网络； (h)系统在展示商品的实时视频时，需要保证视频画面具有1024x768像素的分辨率，40帧/秒的速率； (i)系统要扩容时，应保证在10人●月内完成所有的部署与测试工作； (j)系统应对用户信息数据库的所有操作都进行完整记录； (k)更改系统的Web界面接口必须在4人●周内完成； (l)系统必须提供远程调试接口，并支持远程调试。 在对系统需求、质量属性描述和架构特性进行分析的基础上，该系统架构师给出了两种候选的架构设计方案，公司目前正在组织相关专家对系统架构进行评估。
Java在游戏服务器开发中的应用 随着游戏市场的兴起，特别是网页游戏、手机游戏的崛起，对游戏开发技术的需求越来越多。网络游戏开发是一个庞大的体系，总体来说是客户端与服务器端。客户端是玩家接触的游戏图像显示端，服务器是处理游戏运行中的各种数据，由于一台服务器要支持众多玩家的请求，所以服务器的性能高低决定了同一个游戏的用户数量。 我们公司选择使用Java做服务器开发语言，主要原因是：1.Java是跨平台的，方便部署；2.Java是安全的高级语言，可以提高开发效率；3.Java是面向对象的，代码可以重用；4.Ja
线程锁:大家都不陌生，主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时，那么在同一时刻至多仅有有一个线程在执行该段代码。当有多个线程访问同一对象的加锁方法/代码块时，同一时间只有一个线程在执行，其余线程必须要等待当前线程执行完之后才能执行该代码段。但是，其余线程是可以访问该对象中的非加锁代码块的。
原文：http://www.enmotech.com/web/detail/1/756/1.html
前言 高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。 为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。 在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。 服务器架构 业务从发展的初期到逐渐成熟，服务器架构也是从相对单一到集群，再到分布式服务。 一个可以支持高并发的服务少不了好的服
高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。
高并发经常会发生在有大活跃用户量和用户高聚集的业务场景中，如：秒杀活动、定时领取红包等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
