首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何解决热点数据更新问题

一 背景 某个业务线商品开放用户申请免费试用,当某个商品特别吸引人时,比如iPhone6 。肯定有一大波人为了少卖一个肾而疯狂去抢申请资格。更有甚者利用机器人申请注册,于是简单的申请操作变成了秒杀行为。大量请求同时更新数据库中的同一个商品的申请次数,update 操作给表加上行锁,导致后面的请求全部排队等待前面一个update完成,释放行锁后才能处理下一个请求。大量后来请求等待,占用了数据库的连接。一旦数据库连接数被占满,就会导致后来的全部请求因拿不到连接而超时,业务请求出现无法及时处理的情况,数据库系统的RT会异常飙高,业务层由于等待出现超时,app 层的连接耗尽,一系列的雪崩效应! 二 解决方案 从上面的背景分析,解决热点数据并发更新需要注意核心问题: 减少直接对db层数据热点的并发更新,或者提供MySQL 更新同一行的吞吐量。本文从业务和数据库的设计层面来规划.同时也希望大家提更好的解决思路。 1 前端层面 前端是整个流量的入口, 正常业务访问时系统表现平稳,但是当有人恶意请求时,需要加上流控措施,比如常见的 a 需要用户回答问题,填写验证码,移动图像等等,防止或者减少有机器人来恶意请求。 b 页面上采用防止机器人的判断 两秒以内的成功请求一律拒绝。 c 通过设置nginx ,对同一个ip源的请求次数做限制,防止机器人来申请。 优点 有效减少或者防止有人利用机器人恶意请求 缺点 存在一定的误杀率,错杀了正常的请求。 2 应用层 应用程序接收前端前端请求,进行一系列的数据库操作,在我们规避了恶意请求之后如果还是有大量的数据库写访问请求,我们需要 a 对业务做降级 限制接口的调用次数,降低对数据库的请求压力。选择异步更新请求次数,弱化该商品申请次数的展现。类似于阅读次数,申请次数 ,与金额,库存无关的功能点。 b 通过异步更新来避免直接写数据库 。 应用使用分布式缓存(比如Tair/Redis)来存储某项商品的申请次数或者某人的申请次数,以商品id/user_id 或者将where 条件作为key,申请试用人数为value/符合某项具体条件的 count结果为value, 有用户申请成功则更新申请试用人数。不需要查询和实时写数据库,每隔一定时间/次数将结果写入数据库。 优点:该方法依赖于缓存,读写速度快,不需要实时更新数据库,减轻数据库并发写的压力; 缺点:缓存不是100%稳定,很容易丢,即使采用持久化的缓存,在高并发下有时也可能会出现异常,穿透缓存到db ,导致前端业务展现问题。 3 数据库层 a 将热点数据拆分,分在不同的库不同的表中,分散热点数据,减轻数据库并发更新热点带来的RT升高和应用连接等待时能保证业务能够正常访问其他商品表,损失局部可用性。 优点:实时读写数据库,前端展示数据的准确性。 缺点:业务逻辑稍显复杂。 b 限流补丁 针对某些特定的sql语句 从MySQL 层面加以限制,当系统thread_running达到一定值或者某个sql执行时间超过一定阈值则拒绝该sql的执行。(阿里内部已经实现限流版本)

00

第二章《数据库的基本操作》

一、mysql默认安装的4个库: 1.information_schema:保存关于mysql服务器所维护的所有的其他数据库的信息,例如:数据库名、数据库中的表名; 2.mysql:记录数据库用户,权限,关键字等。mysql自己需要使用的控制和管理信息; 3.performance_schema:5.5版本新增一个库,用于手机服务器性能参数,且该库中所有的表的存储引擎均为performance_schema; 4.test:测试库,所有用户再test库里都有root权限(一般不会存储有用的信息再test库里) 二.1.创建数据库:create database databasename; databasename是指数据库名称 2.移动到指定的数据库里:use databasename; 3.删除数据库:drop database databasename; 其它用法 1、使用SHOW语句找出在服务器上当前存在什么数据库: mysql> SHOW DATABASES; 2、创建一个数据库MYSQLDATA mysql> CREATE DATABASE MYSQLDATA; 3、选择你所创建的数据库 mysql> USE MYSQLDATA; (按回车键出现Database changed 时说明操作成功!) 4、查看现在的数据库中存在什么表 mysql> SHOW TABLES; 5、创建一个数据库表 mysql> CREATE TABLE MYTABLE (name VARCHAR(20), sex CHAR(1)); 6、显示表的结构: mysql> DESCRIBE MYTABLE; 7、往表中加入记录 mysql> insert into MYTABLE values (”hyq”,”M”); 8、用文本方式将数据装入数据库表中(例如D:/mysql.txt) mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE MYTABLE; 9、导入.sql文件命令(例如D:/mysql.sql) mysql>use database; mysql>source d:/mysql.sql; 三,数据库的存储引擎: 1.什么是存储引擎:数据库的存储引擎是数据库的底层软件组件,数据库管理系统(Dbms)就是依赖存储引擎来对数据表进行创建,查询,更新和删除操作的。不同的存储引擎提供了不同的存储机制,索引技巧和锁定水平等功能。还可以获得某些特定的功能。现在不同的数据库的管理系统都支持多种不同的存储引擎。mysql的核心就是存储引擎。 2.MySQL的存储引擎,包括处理事务安全表的引擎和处理非事务安全表的引擎。在MySQL中不需要所有的表都使用同一种引擎,针对具体的需求每一张表都可以选择不同的存储引擎。 MySQL5.5支持的存储引擎有:InnoDB,MyiSAM,Memory,CVS等。 查看mysql中所有的存储引擎的命令:show engines\G Engine: PERFORMANCE_SCHEMA #引擎名称 Support: YES #mysql是否支持这种引擎 Comment: Performance Schema #mysql对它的评价 Transactions: NO #是否支持事务 XA: NO #是否支持事务的分布式 Savepoints: NO #事务的保存点 1.myisam存储引擎的特点: (1)myisam引擎读取速度快,占用资源少,不支持事务,不支持外键约束,但支持全文索引 (2)读写相互阻塞,也就是说读数据的时候就不能写数据,写数据的时候就不能读数据; (3)myisam引擎只能缓存索引,而不能缓存数据; (4)mysql5.5之前的默认引擎。 使用场景: (1)不需要事务支持的业务,例如银行转账就不适合用myisam引擎; (2)适用于读数据比较多的业务,不适用于读写频繁的业务; (3)并发相对较低的业务(纯读或者纯写的高并发也可以),数据修改相对较少的业务; (4)硬件资源比较差的机器可以考虑多使用myisam引擎。 2.InnoDB存储引擎的特点: (1)事物类数据表的首选引擎,支持事物安全表,支持行级别锁定和外键,mysql5.5之后的默认引擎; (2)具有提交,回滚和崩溃恢复能力的事物安全存储引擎,能处理巨大的数据量,性能及效率高,完全支持外键完整约束条件; (3)具有非常高的效的缓存特性,能缓存索引也能缓存数据,对硬件要求高, (4)使用InnoDB时,将在mysql数据目录创建一个名为ibdata的10M带大小的自动扩展文件,以及两个名为ib_logfile0和ib_logfile1的5M带大小的日志文件。 使用场景:

03

第二章《数据库的基本操作》

一、mysql默认安装的4个库: 1.information_schema:保存关于mysql服务器所维护的所有的其他数据库的信息,例如:数据库名、数据库中的表名; 2.mysql:记录数据库用户,权限,关键字等。mysql自己需要使用的控制和管理信息; 3.performance_schema:5.5版本新增一个库,用于手机服务器性能参数,且该库中所有的表的存储引擎均为performance_schema; 4.test:测试库,所有用户再test库里都有root权限(一般不会存储有用的信息再test库里) 二.1.创建数据库:create database databasename; databasename是指数据库名称 2.移动到指定的数据库里:use databasename; 3.删除数据库:drop database databasename; 其它用法 1、使用SHOW语句找出在服务器上当前存在什么数据库: mysql> SHOW DATABASES; 2、创建一个数据库MYSQLDATA mysql> CREATE DATABASE MYSQLDATA; 3、选择你所创建的数据库 mysql> USE MYSQLDATA; (按回车键出现Database changed 时说明操作成功!) 4、查看现在的数据库中存在什么表 mysql> SHOW TABLES; 5、创建一个数据库表 mysql> CREATE TABLE MYTABLE (name VARCHAR(20), sex CHAR(1)); 6、显示表的结构: mysql> DESCRIBE MYTABLE; 7、往表中加入记录 mysql> insert into MYTABLE values (”hyq”,”M”); 8、用文本方式将数据装入数据库表中(例如D:/mysql.txt) mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE MYTABLE; 9、导入.sql文件命令(例如D:/mysql.sql) mysql>use database; mysql>source d:/mysql.sql; 三,数据库的存储引擎: 1.什么是存储引擎:数据库的存储引擎是数据库的底层软件组件,数据库管理系统(Dbms)就是依赖存储引擎来对数据表进行创建,查询,更新和删除操作的。不同的存储引擎提供了不同的存储机制,索引技巧和锁定水平等功能。还可以获得某些特定的功能。现在不同的数据库的管理系统都支持多种不同的存储引擎。mysql的核心就是存储引擎。 2.MySQL的存储引擎,包括处理事务安全表的引擎和处理非事务安全表的引擎。在MySQL中不需要所有的表都使用同一种引擎,针对具体的需求每一张表都可以选择不同的存储引擎。 MySQL5.5支持的存储引擎有:InnoDB,MyiSAM,Memory,CVS等。 查看mysql中所有的存储引擎的命令:show engines\G Engine: PERFORMANCE_SCHEMA #引擎名称 Support: YES #mysql是否支持这种引擎 Comment: Performance Schema #mysql对它的评价 Transactions: NO #是否支持事务 XA: NO #是否支持事务的分布式 Savepoints: NO #事务的保存点 1.myisam存储引擎的特点: (1)myisam引擎读取速度快,占用资源少,不支持事务,不支持外键约束,但支持全文索引 (2)读写相互阻塞,也就是说读数据的时候就不能写数据,写数据的时候就不能读数据; (3)myisam引擎只能缓存索引,而不能缓存数据; (4)mysql5.5之前的默认引擎。 使用场景: (1)不需要事务支持的业务,例如银行转账就不适合用myisam引擎; (2)适用于读数据比较多的业务,不适用于读写频繁的业务; (3)并发相对较低的业务(纯读或者纯写的高并发也可以),数据修改相对较少的业务; (4)硬件资源比较差的机器可以考虑多使用myisam引擎。 2.InnoDB存储引擎的特点: (1)事物类数据表的首选引擎,支持事物安全表,支持行级别锁定和外键,mysql5.5之后的默认引擎; (2)具有提交,回滚和崩溃恢复能力的事物安全存储引擎,能处理巨大的数据量,性能及效率高,完全支持外键完整约束条件; (3)具有非常高的效的缓存特性,能缓存索引也能缓存数据,对硬件要求高, (4)使用InnoDB时,将在mysql数据目录创建一个名为ibdata的10M带大小的自动扩展文件,以及两个名为ib_logfile0和ib_logfile1的5M带大小的日志文件。 使用场景:

01
领券