10
有了坚定的意志,就等于给双脚添了一对翅膀。
——拉蒂默
面试时有关Redis有关的问题经常被问住,然后在网上找了大量相关的资料,整理出来,和大家一起学习。
学习一个技术的时候,要学会问自己三个问题:
1、是什么?
2、为什么?
3、怎么做?
_
Redis简介
_
Redis是一个高性能的key-value数据库
基于特殊的结构,并将数据存储到内存的数据库
Redis和其他key-value型数据库的对比的特点:
Redis和其他key-value型数据库的对比的优势:
_
Redis数据类型
_
Redis支持五种数据类型:
String(字符串)
Hash(哈希)
List(列表)
Set(集合)
Zset(sorted set:有序集合)
String是Redis最基本的数据类型,是二进制安全的,就是说String类型可以包含任何数据。比如序列化的对象或者JPG图片,而且该类型的值最大能存储512MB。
如何更好理解String呢?
和Java中的map数据类型一样,一个key对应一个value
在交互式命令行中操作
127.0.0.1:6379> set hello world
OK
127.0.0.1:6379> get hello
"world"
Hash是一个键值对(key-value)集合。
Hash是String类型的key和value的映射表,而且hash适合存储对象。
如何更好理解hash呢?
将hash看成一个key-value集合。也可以一个hash中有多个string。(与string的区别显而易见,string是一个key-value键值对,而hash是多个key-value键值对)
在交互式命令行中操作:
// hash-key 可以看成是一个键值对集合的名字,在这里分别为其添加了 sub-key1 : value1、
sub-key2 : value2、sub-key3 : value3 这三个键值对
127.0.0.1:6379> hset hash-key sub-key1 value1
(integer) 1
127.0.0.1:6379> hset hash-key sub-key2 value2
(integer) 1
127.0.0.1:6379> hset hash-key sub-key3 value3
(integer) 1
// 获取 hash-key 这个 hash 里面的所有键值对
127.0.0.1:6379> hgetall hash-key
1) "sub-key1"
2) "value1"
3) "sub-key2"
4) "value2"
5) "sub-key3"
6) "value3"
// 删除 hash-key 这个 hash 里面的 sub-key2 键值对
127.0.0.1:6379> hdel hash-key sub-key2
(integer) 1
127.0.0.1:6379> hget hash-key sub-key2
(nil)
127.0.0.1:6379> hget hash-key sub-key1
"value1"
127.0.0.1:6379> hgetall hash-key
1) "sub-key1"
2) "value1"
3) "sub-key3"
4) "value3"
List是Redis中简单的字符串列表,按照插入顺序进行排序。我们在插入数据时,可以从左边或者右边插入元素。
在交互式命令行中操作:
127.0.0.1:6379> rpush list-key v1
(integer) 1
127.0.0.1:6379> rpush list-key v2
(integer) 2
127.0.0.1:6379> rpush list-key v1
(integer) 3
127.0.0.1:6379> lrange list-key 0 -1
1) "v1"
2) "v2"
3) "v1"
127.0.0.1:6379> lindex list-key 1
"v2"
127.0.0.1:6379> lpop list
(nil)
127.0.0.1:6379> lpop list-key
"v1"
127.0.0.1:6379> lrange list-key 0 -1
1) "v2"
2) "v1"
从上面可以看出和Java中的list相差不大,区别在于Redis中的list存放的是字符串,list内的元素可以重复。
Set是Redis数据类型中的无序集合,集合是通过hash表实现的,所以插入、删除、查找时间复杂度都是O(1)。
在交互式命令行中操作:
127.0.0.1:6379> sadd k1 v1
(integer) 1
127.0.0.1:6379> sadd k1 v2
(integer) 1
127.0.0.1:6379> sadd k1 v3
(integer) 1
127.0.0.1:6379> sadd k1 v1
(integer) 0
127.0.0.1:6379> smembers k1
1) "v3"
2) "v2"
3) "v1"
127.0.0.1:6379>
127.0.0.1:6379> sismember k1 k4
(integer) 0
127.0.0.1:6379> sismember k1 v1
(integer) 1
127.0.0.1:6379> srem k1 v2
(integer) 1
127.0.0.1:6379> srem k1 v2
(integer) 0
127.0.0.1:6379> smembers k1
1) "v3"
2) "v1"
Redis中的set和Java中的set相比较,还是有些不同的。Redis中的set是一个key对应着多个字符串的value,同时还是一个字符串类型的集合。
Redis中的set和list不同之处在于,set中的字符串集合元素不能重复。
Sorted-Sets和Sets类型极为相似,都是字符串的集合,都不允许重复的成员出 现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分 数(score)与之关联,Redis正是通过分数来为集合中的成员进行从小到大的排序。然 而需要额外指出的是,尽管Sorted-Sets中的成员必须是唯一的,但是分数(score) 却是可以重复的。
使用场景:游戏排名、微博热点话题等
Zset是和Redis set一样属于字符串类型元素的集合,集合中的元素不能重复。
zset和set不同在于,zset每个元素会关联一个double类型的分数。Redis会通过这个分数对集合中的元素进行从小到大的排序。
zset中的分数(score)是可以重复的,元素是唯一的。
在交互式命令行中操作:
127.0.0.1:6379> zadd zset-key 728 member1
(integer) 1
127.0.0.1:6379> zadd zset-key 982 member0
(integer) 1
127.0.0.1:6379> zadd zset-key 982 member0
(integer) 0
127.0.0.1:6379> zrange zset-key 0 -1 withscores
1) "member1"
2) "728"
3) "member0"
4) "982"
127.0.0.1:6379> zrangebyscore zset-key 0 800 withscores
1) "member1"
2) "728"
127.0.0.1:6379> zrem zset-key member1
(integer) 1
127.0.0.1:6379> zrem zset-key member1
(integer) 0
127.0.0.1:6379> zrange zset-key 0 -1 withscores
1) "member0"
2) "982"
_
Redis的事物
_
Redis的事物:一次可以执行多条命令。并且在提交命令后,服务器执行命令期间,不会去执行其他的客户端的命令请求。
这些命令是一次性发送给服务器,不是一条一条地发送,即流水线。这样有个好处,就是减少客户端和服务器之间的网络通信次数,从而大大提高了性能。
Redis事物实现方式:
最简单的实现方式是使用MULTI 和 EXEC 命令将事务操作包围起来。然后进行批量操作在发送EXEC命令前被放入队列缓存。在收到EXEC命令后进入事物执行,但事物中的任意一条命令执行失败,其他命令依然可以被执行,换句话说就是Redis事物不能保证原子性。
在进行事物执行过程中,其他的客户端提交过来的请求不会插入到事物执行命令序列中去。
在交互式命令行中进行事物操作:
先以 MULTI 开始一个事务, 然后将多个命令入队到事务中, 最后由 EXEC 命令触发事务, 一并执行事务中的所有命令:
redis 127.0.0.1:6379> MULTI
OK
redis 127.0.0.1:6379> SET book-name "Mastering C++ in 21 days"
QUEUED
redis 127.0.0.1:6379> GET book-name
QUEUED
redis 127.0.0.1:6379> SADD tag "C++" "Programming" "Mastering Series"
QUEUED
redis 127.0.0.1:6379> SMEMBERS tag
QUEUED
redis 127.0.0.1:6379> EXEC
1) OK
2) "Mastering C++ in 21 days"
3) (integer) 3
4) 1) "Mastering Series"
2) "C++"
3) "Programming"
由于Redis没有在事物上增加任何维持原子性的机制,所以单个Redis命令的执行时原子性的,Redis事物的执行并不是原子性的。
这是官网上的说明 From redis docs on transactions:
It's important to note that even when a command fails, all the other commands in the queue are processed – Redis will not stop the processing of commands.
意思是说,需要注意的是,即使一个命令失败,队列中的所有其他命令都会被处理——Redis不会停止对命令的处理。
Redis事物常见命令:
1、DISCARD 取消事务,放弃执行事务块内的所有命令。
2、EXEC 执行所有事务块内的命令。
3、MULTI 标记一个事务块的开始。
4、UNWATCH 取消 WATCH 命令对所有 key 的监视。
5、WATCH key [key …]监视一个 (或多个) key ,如果在事务执行之前这个 (或这些) key 被其他命令所改动,那么事务将被打断。
_
Redis的持久化
_
众所周知,Redis是基于内存的数据库,有时候为了保证数据不丢失,需要将内存中的数据持久化到硬盘上。
Redis提供了两种持久化的方式:RDB(默认)和AOF
RDB:Redis DataBase缩写。
可以将将某个时间点对应的所有数据都存放到硬盘上。
可以进行快照,如果数据量大,保存快照实践比较长。在一个服务器产生的快照,可以复制到其他服务器上,从而创建具有相同数据的服务器副本。
当系统发生故障时候,快照之前的数据会保存下来,快照之后的数据会丢失。
AOF:Append-only file缩写
Redis先存储文件到缓冲区,然后由操作系统决定什么时候同步到磁盘。So,将命令添加到AOF文件的末尾,在使用AOF持久化需要设置同步选项,才能保证写命令同步到磁盘文件上的时机。
比较:
1、AOF文件比RDB更新频率高,优先使用AOF还原数据。
2、AOF比RDB更安全也更大
3、RDB性能比AOF好
4、如果两个都配了优先加载AOF
选项同步机制有两种:选项同步频率always和everysec 选项。
eyerysec每秒同步一次,不是让操作系统来决定何时同步,严重减低服务器的性能。
everysec保证系统崩溃时只会丢失一秒左右的数据,并且 Redis 每秒执行一次同步对服务器几乎没有任何影响。
Redis 提供了一种将 AOF 重写的特性,能够去除 AOF 文件中的冗余写命令。用来解决服务器写请求的增多,导致AOF 文件会越来越大问题。
_
Redis集群模式
_
主从复制:
通过使用 slave of host port 命令来让一个服务器成为另一个服务器的从服务器。
一个从服务器只能有一个主服务器,并且不支持主主复制。
只要主从服务器之间的网络连接正常,主从服务器两者会具有相同的数据,主服务器就会一直将发生在自己身上的数据更新同步 给从服务器,从而一直保证主从服务器的数据相同。
特点:
1、master/slave 角色
2、master/slave 数据相同
3、降低 master 读压力在转交从库
问题:
无法保证高可用
没有解决 master 写的压力
哨兵:
Sentinel(哨兵)可以监听集群中的服务器,并在主服务器进入下线状态时,自动从从服务器中选举处新的主服务器。
哨兵模式:
特点:
1、保证高可用
2、监控各个节点
3、自动故障迁移
缺点:
主从模式,切换需要时间丢数据
没有解决 master 写的压力
分片:
分片是将数据划分为多个部分的方法,可以将数据存储到多台机器里面,这种方法在解决某些问题时可以获得线性级别的性能提升。
切片分为三种:客户端分片、代理分片、服务器分片
集群(代理型):
Twemproxy 是一个 Twitter 开源的一个 redis 和 memcache 快速/轻量级代理服务器;Twemproxy 是一个快速的单线程代理程序,支持 Memcached ASCII 协议和 redis 协议。
特点:
1、多种 hash 算法
2、支持失败节点自动删除
3、后端 Sharding 分片逻辑对业务透明,业务方的读写方式和操作单个 Redis 一致
缺点:
增加了新的 proxy,需要维护其高可用。
failover 逻辑需要自己实现,其本身不能支持故障的自动转移可扩展性差,进行扩缩容都需要手动干预
集群(直连型):
从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。
特点:
1、无中心架构(不存在哪个节点影响性能瓶颈),少了 proxy 层。
2、数据按照 slot 存储分布在多个节点,节点间数据共享,可动态调整数据分布。
3、可扩展性,可线性扩展到 1000 个节点,节点可动态添加或删除。
4、高可用性,部分节点不可用时,集群仍可用。通过增加 Slave 做备份数据副本
5、实现故障自动 failover,节点之间通过 gossip 协议交换状态信息,用投票机制完成 Slave到 Master 的角色提升。
缺点:
1、资源隔离性较差,容易出现相互影响的情况。
2、数据通过异步复制,不保证数据的强一致性