redis

概述

(redis.memcache(内存数据库,高速缓存),mongodb(文档数据库))

入门概述
  • Nosql(not noly sql) 数据之间无关系,容易扩展 速度快:读11w,写8w
  • RDBMS VS NOSQL
    • Rdbms:acid
    • Nosql:cap定理,键值对存储,
    • 组成:Kv,Cache,Persistence
3v+3高
  • 海量volume
  • 多样variety
  • 实时velocity
  • 高并发,
  • 高扩展,
  • 高性能

Nosql的经典应用

阿里sql 与nosql商品信息的存放

  • 第一代1999:Perl,CGI,Oracle
  • 2000java时代:JAVA,servlet
  • 2001-2004:EJB(SLSB,CMP,MDB) pattern(servletLocator,Delegate,Façade,DAO,DTO)
  • 2005-2007:EJB重构:spring+ibatis+webx,antx(struts前身)
    • 底层架构:iSearch,MQ+ESB,数据挖掘,CMS
  • 2008-2009:Memcached集群,mysql+数据切分=cobar
  • 2010:安全,镜像,应用服务器升级,秒杀,nosql,SSD
  • 第四代:解决性能和海量数据问题
    • 大规模memcached集群,高性能服务器,kv,cnd
    • 安全问题:镜像站
  • 第五代2011:敏捷,开放,体验

去IOE(去除IBM小型机,oracle数据库,EMC存储设备)-云计算

Nosql数据模型简介

  • Kv键值
  • Bson
  • 列簇
  • 图形

Nosql数据库的四大分类

  • Kv键值
    • 新浪:Berkeley+redis
    • 美团:redis+tair
    • 阿里,百度:memcache+redis
  • 文档数据库
    • bson:mongodb
  • 列存储数据库
    • Cassandra,Hbase,分布式文件系统
  • 图关系数据库
    • 社交网络,关系图,neo4j,infoGrid

在分布式数据库中CAP原理

  • ACID
    • A(Atomicity)原子性
    • C(Consistency)一致性
    • I(Isolation)独立性
    • D(Durability)持久性
  • CAP
    • C(Consistency)强一致性
    • A(Availability)可用性
    • P(Partition tolerance)分区容错性
  • CAP的3选2(注意)不能同时满足三个
    • CA:单点集群,一致性,可用性
    • CP:一致性,分区容错,性能不是特别高
    • AP:可用性,分区容错,对一致性要求低:用的较多
  • 经典CAP图
  • Base
    • 基本可用(Basically Available)
    • 软状态(Soft state)
    • 最终一致(Eventually consistent)
    • 放松某时刻一致性的要求,由base解决
  • 分布式+集群简介
    • 分布式:不同服务器:不同服务模块
    • 集群:不同服务器:相同服务模块

Redis入门介绍

是什么
  • Remote dictionary server(远程字典服务)
  • c语言编写,遵守BSD协议
  • Kv分布式存储数据库,基于内存运行,数据结构服务器
  • 特点
    • 支持持久化
    • 不仅支持kv,还提供list,set,zset,hash等
    • 支持数据备份,即master-slave模式数据备份
做什么
  • 支持异步将内存数据写入硬盘,
  • 发布,订阅系统消息mq+nq:消息中间件
  • 定时器,计数器
  • 最新的消息放在内存中list.

怎么做

  • 数据类型,基本操作,配置
  • 持久化,复制,RDB/AOF
  • 事务控制
    • 灵活性高,有时候事务回滚
    • 例如3条语句,回滚2条错的,另一个不会滚,与RDMS不同
  • 复制

Redis安装

下载地址:https://github.com/dmajkic/redis/downloads

Redis启动后杂项基础知识讲解

  • 单进程以epoll包装.linux下多路复用io
  • 默认16个数据库,类似数组下标从0开始.初始默认0号库
  • Select命令切换数据库 select 7选择7号库
  • Dbsize查看当前数据库key数量
  • Flushdb:清空当前库
  • Flushall通杀全部库
  • 统一密码管理,16个库都是同样密码,要么ok,要么都连不上
  • Redis索引都是从0开始
  • 默认端口6379->键盘6379->merz
  • Keys d* 显示d开头的key

Redis数据类型

Redis五大数据类型string,hash,list,set,zset
  • String:一个key一个value,二进制安全,可包含任何数据,比如图片,序列化对象,value最多512M
  • Hash:类似java中Map, 是一个string类型的filed和value的映射表,适合存储对象
  • List:字符串链表,按照插入顺序,可以添加元素到头部,尾部
  • Set:实际上是map,string类型无序集合,hashtable实现
  • Zset:string类型集合,不重复,每个元素关联一个double分数,通过分数排序,分数可重复

获得常见类型操作命令

http://redisdoc.com

Redis key

  • Key * 查看所有
  • Exist key 判断是否存在key(返回0表示无)
  • Move key db 当前库就没了,剪贴
  • Expire key 秒 设置过期时间
  • Ttl key 查看还有多少时间过期 -1 不过期 -2 已过期(移除)
  • Type key 查看key类型
  • Del key删除类型(一般是设置过期时间)
  • Set key 多次会覆盖

Redis String

  • 单值单value
  • Set/get/del/append/strlen:拼接字符,返回长度
  • Incr/decr/incrby/decrby,一定要是数字才能进行加减
    • Incdecrr k2:把k2的值加1,减1
    • Incrby/decrby k2 步长x:每次加减x
  • Getrange/setrange:获取指定区间的值,类似between and
    • Getrange key 0 3:获取key的0-3个字符
    • Setrange key 2 x:设置第下标2开始到最后为x
  • Setex(set with expire)键秒值/setnx(set if not exist)
    • Setx key time value;带时间设置
    • Setnx key value:如果存在不再添加
  • Mset/mget/msetnx
    • Mset k1 v1 k2 v2 k3 v3:一次设置多个
    • Mget k1 k2 k3:获取,注意不能超出k4
    • Msetnx k1 v1 k2 v2 k3 v3 k4 v4:存在的不再插入,不存在的也不再插入
  • Getset(先get再set)

Redis list

  • 单值多value(l在上,r在下)
  • Lpush/rpush/lrange(已存在是添加是append)

Lpush list 0 1 2 3 4 5:0-5左边添加list, 正进反出 lrange list 0 -1:输出 rpush list 0 1 2 3 4 5:5-0右边添加list,正进正出

  • Lpop/rpop

Lpop list:返回输出第一个,切弹出 Rpop lsit: 返回输出第一个,切弹出

  • Lindex:按照索引下标获得元素

Lindex list 2:获取下标2元素

  • Llen list:长度
  • Lrem key n v1:删除n个v1元素
  • Ltrim key start end:截取指定范围给再给key(包括end):截取后赋给自己
  • Rpoplpush 源列表 目的列表:把源列表头 给目的列表
  • Lset key index value:设置下标index的值
  • Linsert key before/after v1:v1前后插入v1
  • 若值全部移除,对应键也就消失,头尾操作极高,中间较慢

Redis set

  • 单值多value
  • Sadd/smembers/sismember
    • Sad set01 1 1 2 2 3 3:只插入3 个,自己会去重
    • Smember set:查看
    • Sismember set01 2:判断是否存在
  • Scard:获得集合里面元素个数
  • Srem key value:删除元素value
  • Srandmember key 3:
  • Spop key:随机弹出一个
  • Smove key1 key2 numINkey1:将key1中的某个值移入key2
  • 数学集合类
    • 差集:sdiff sdiff set1 set2:返回差集(在第一个里面,不再第二个里面)
    • 交集:sinter ......
    • 并集:sunion.....

Redis hash

  • Kv模式不变,但v是一个键值对
  • Hset/hget/hmset/hmget/hgetall/hdel
    • Hset user id 11: key -->user value ->id 11
    • Hget user id:获取;
    • Hmset:设置多个
    • Hmget:得到多个
    • Hgetall:得到所有
    • Hdel key value:删除
  • Hlen:返回长度
  • Exists user id:判断是否存在
  • Hkeys/hvals
    • Hkeys user:得到所有的 key (id name)
    • Hvals user:得到对应值
  • Hincrby/hincrbyfloat
    • Hincrby user id 2:使id 加2
    • Hincrbyfloat ....:改小数的值属性
  • Hsetnx:添加,若不存在

Redis zset(sorted set)有序集合

Set k1 v1 k2 v2

Zset k1 score1(分数) v1 k2 score2 v2(比set多一个分数,用来排序)

  • Zadd/zrange:两个值是一个整体
    • Zrange key 0 -1:取出(v1 v2)
    • Zrange key 0 -1 withscores:取出(v1 socre1 v2 score2)
  • Zrangebyscore key score1 score2 小到大:返回范围内的(v1..不带score)
    • score1 score2:都包含
    • (score1 (score2:都不包含
  • Limit 2 5:在返回的结果进行截取(从结果下标2开始截取5个)
  • Zrem key v1:删除v1
  • Zcard key:返回数量 v的数量 不带分数
  • Zcount key score1 score2:统计分数内个数
  • Zrank key v1:返回v1下标
  • Zscore key v1:返回v1的score
  • Zrevrank key v1:逆序获得下标值
  • Zrevrange key 0 -1:逆序输出 v1 v2
  • Zrevrangebyscore key 90 60(大到小):返回v2 v1

Units单位

  • 1k=1000bytes;1kb=1024bytes;
  • 不区分大小写;不支持bit;

配置文件

  • Window不用更改,linux要改为yes:守护进程
  • 进程管道id文件 windows没有
  • Port 6379
  • Tcp-backlog 511

windwos中在network部分设置tcp的backlog ,是一个连接队列,队列总和=未完成3次握手+已完成三次握手在高并发环境下需要一个高backlog值,避免客户端连接缓慢,注意:linux内核会将这个值减小到/proc.sys/net/core/somacconn的值所以需要确认增大somaxconn和tcp_syn_backlog两个值来达到效果

  • 绑定的网卡端口
  • Timeout 0; 空闲多少秒后关闭空闲连接 0表示不断
  • Tcp-keepalive:单位为s 设置为0不进行keepalive检测,建议60s,每隔60秒检查一下状态是否良好
  • Loglevel:日志级别默认四个
    • debug (最详细:a lot of information, useful for development/testing)
    • verbose (many rarely useful info, but not a mess like the debug level)
    • notice (moderately verbose, what you want in production probably)
    • warning (最少:only very important / critical messages are logged)
  • Logfile "":日志文件
  • Syslog-enabled no:系统日志开关
  • Syslog-ident redis:系统日志文件名
  • Syslog-facility local0(值可以是user或local0到local7) window没有
  • Database 16 :16个数据库
  • 存内存数据到硬盘
  • ​ 备份条件:Save time 修改次数(save "")不备份
    • 15min内至少一个key变化
    • 5min内10个key变化
    • 1min内10000key变化
  • 执行shutdown时会执行备份
  • 手动备份save命令
  • Fushall也会执行save
  • Stop-writes-on-bgsave-error 备份出错停止写入,
  • Rdbchecksum:压缩校验crc64算法,10%性能损耗
  • rdbcompression:是否启动压缩

Replication复制

  • Config get requirepass 获得当前用户密码串,此时应为""空串
  • Config get dir :获取服务启动路径(dir 配置文件中)
    • 当前路径
    • 当配置完path或用完整路径时,即返回的是那个目录路径
  • Config set requirepass "123456",(立即加验证)此时再次ping报错
  • Auth 123456 即可
  • Maxmemory-policy:对于那些不常用的数据,占内存:过期策略
    • volatile-lru(最近最少使用:这对设置了过期时间的建) -> remove the key with an expire set using an LRU algorithm
    • allkeys-lru -> remove any key according to the LRU algorithm
    • volatile-random(随机过期的键删除:对有过期时间的有效) -> remove a random key with an expire set
    • allkeys-random -> remove a random key, any key
    • volatile-ttl(有限时间内:移除ttl只最小的,即即将过期的) -> remove the key with the nearest expire time (minor TTL)
    • noeviction (默认永不过期,针对写操作,会返回错误信息)-> don't expire at all, just return an error on write operations
  • Maxmemory-samples
    • 设置样本数量:lru算法最小ttl算法都是非精确的,设置样本大小,redis会默认检查这么多个key并选择其中lru的那个..

Append only mode追加比rdb较好

  • 开关,改变后启动时会有appendonly.aof:记录所有写操作
  • 最后一秒:故障.可能日志文件损坏,
    • 两者可同时存在,先加载aof,若失败
    • 就会加载dump.rdb
  • 修复aof: redis-check-aof --fix appendonly.aof
  • Appendfilename:日志文件名字
  • Appendfsync
    • Always:同步化持久,每次改变立即记录(性能差)
    • Everysec:出厂设置,异步操作每秒记录,会损失1秒
    • No:
  • No-appendfsync-on-rewrite:重写时是否运用appendfsync 用no即可保证数据安全
  • Auto-aof-rewrite-min-size:设置重写的基准值
  • Auto-aof-rewrite-percentage:设置重写的基准值

常见配置redis.conf介绍

  • Redis 守护进程启动 daemonize no->yes
  • 一守护进程方式启动时 pid会写入/var/run/redis.pid prefile / var/run/redis.pid指定
  • Port 6379
  • Bind 127.0.0.1
  • Timeout 300
  • Loglevel 日志级别 debug,verbose,notice,warning 默认 verbose
  • Logfile stdout:标准输出路径
  • Database 16
  • Dir ./:变值
  • Requirepass ...
  • Maxclient xxx:最大连接数
  • Maxmemory xx:启动时,加载数据,达到最大,尝试清除将到期,或已到期key处理后,
    • 又达到最大,无法写,仍可读.对于新的vm机制,会把key放入内存value放在swap区

Redis持久化

RDB(Redis DataBase)
  • 是什么
    • 在指定时间内将数据写入磁盘,即snapshot快照,恢复时写入内存
    • Redis会单独创建(fork)子进程进行持久化,会先将数据写入到临时文件,等待持久化过程结束,再用临时文件替换上次的文件,整个过程主进程不需要io
    • 大规模数据恢复,数据完整性不是很敏感,rdb比aof更高效,
    • 缺点最后一次持久化数据可能丢失(每5min备份一次,可能最后一次备份时故障)
  • Fork
    • 复制一个与当前进程一样的进程,所有基本数据与原进程一致,但作为它的子进程运行
  • Rdb保存的是dump.rdb文件
  • 配置位置 redis.conf
  • 如何触发rdb快照
    • 配置文件中默认的快照配置
    • 命令save或是bgsave
    • Save:只管保存其他不管,全部阻塞
    • Bgsave:异步快照,备份同时可以响应请求,可以lastsave获取最后一次成功快照时间
    • 执行flushall 也会产生备份,但是空文件,无意义
  • 如何恢复
    • 将备份文件移入 redis安装目录
  • 优势
    • 适合大规模数据恢复,对数据一致性完整性要求不高
  • 劣势
    • 最后一次可能丢失,fork的时候内存数据克隆,性能问题
  • 如何停止
    • Redis-cli config set save ""
  • 小总结
AOF(Append Only File:修复最后一次读写)
  • 是什么
    • 以日志形式记录每个写操作,
    • 日志只追加文件,redis启动会读取文件重新构建数据,
    • 重启根据日志内容再次执行以完成恢复工作
  • Aof保存的是appendonly.aof
  • 配置位置
  • Aof启动/恢复/修复
    • 正常恢复:
      • 启动设置为appendonly no->yes
      • 将所有数据aof文件复制到对应目录(config get dir)
      • 重启
    • 异常恢复:
      • 启动:设置yes
      • 找到被写坏的aof文件
      • 修复:redis-check-aof --fix name
      • 恢复:重启
  • Rewrite
    • 是什么?
      • Aof采用追加方式,文件越来越大,增加重写
      • 当文件大小超过所设阈值时,aof内容压缩
      • 只保留可以恢复数据的最小指令集,使用命令
      • Bgrewriteaof
    • 重写原理
      • Aof增加,会fork新进程将文件重写:注意不是读取aof,
      • 读取内存中数据重写了一个aof,与快照类似
    • 触发机制
      • 记录上次重写时aof大小,切大于64M
  • 优势
    • 每秒同步,每修改同步,不同步
  • 劣势
    • Aof文件远大于rdb,回复速度慢
    • 运行效率慢,尽量使用美妙同步策略,若不同步,效率与rdb相同
  • 小总结

总结which one

  • 官网建议:完整性低,快速->rdb
  • 只做缓存:可以不使用任何备份,不用持久化
  • 同时开启两种:先aof,aof比rdb完整.建议保留rdb

Redis的事务

  • 是什么:一次多个命令,所有命令都会序列化,按顺序串行
  • 能干嘛:一个队列中,一次性,顺序性,排他性,
  • 怎么做
  • 常用命令
    • Case 1:正常执行
    • Case 2:放弃事务
    • Case 3:全体连坐
    • Case 4:冤头债主
    • Case 5:watch监控
      • 悲观锁/乐观锁/cas(check and set)
      • 悲观锁:修改时上锁
      • 乐观锁:不会上锁,更新时判断有没有他人更新过数据,用版本号机制
      • 提交版本必须大于记录当前版本才能执行更新
  • 小结
    • Watch类似乐观锁
    • 监控的数据被改,exec命令会被抛弃,返回nullmulti-bulk通知失败
3阶段
  • Multi开启事务
  • 命令入队
  • 执行exec
3特性
  • 单独的隔离操作:不会被其他客户端命令打断
  • 没有隔离级别
  • 不保证原子性:冤头债主:全体连坐

Redis的发布订阅(了解)

  • 是什么:进程间的一种消息通信模式,发送者pub发送,订阅者sub接受
  • 命令

源->channel->client

案例

Redis的复制

  • 是什么
    • Replication:主从复制,主机更新后,根据配置策略,自动同步到备机的matser/salver机制
    • Master:写;slave:读
  • 能干嘛
    • 读写分离
    • 容灾恢复
  • 怎么做
    • 配从库不配主库
    • 从库配置:slaveof主库ip主库端口
      • 每次master断开之后都要重新连接,除非配置进redis.conf
    • 修改配置文件(不同的几个库)
      • 拷贝多个redis.conf
      • 开启daemonize yes
      • Pid文件名字
      • 指定端口
      • Log文件名字
      • Dump.rdb名字
  • 常用三招(以不同配置文件啊启动数据库)
    • 一主二仆
      • 分别连接数据库
      • :Info replication//显示状态 都是master
      • :主机添加数据v1
      • :丛机:slaveof 主机ip port (全量复制,从机变为slave:只能读)
      • :主机:又加数据v2
      • :丛机 get v2可以获得,注意也能get v1
      • 当主机故障:从机连接状态down,从机原地待命,主机随时连接
      • 从机故障:再次恢复时:身份变为master,再次slaveof
    • 薪火相传
      • 上一个slave可以使下一个slaver的master,slaver同样可以接受其他slaves的链接和同步请求,和减少主库的压力
      • 中途变更转向:会清除之前数据.
      • 中间的slave的身份:还是slave ,担有连接的slave
    • 反客为主
      • 从机:Slaveof no one:状态变为master
      • 其他主机要同步时:要再次slaveof......
复制原理
  • Slave启动后连接到master 会发送sync命令同步
  • Master接到后,若此时有修改数据命令,完成后再处理同步
  • 全量复制:slave接收到数据库文件后
  • 增量复制:master继续将新数据传给slave时,但只要是重新连接都会一次同步所有
哨兵模式sentinel

自动的反客为主:

  • 调整结构:一主二仆
  • 自定义/myredis目录下新建sentinel.conf文件,名字不能错
  • 主机配置哨兵sentinel.conf(可监控多个master)
    • Sentinel monitor 数据库名字(自己起) 127.0.0.1 6379 1(选择主机方案,票数高的作为主机)
  • 启动redis-sentinel sentinel.conf
    • 此时 主机故障, 一段时间后 会在从机中选出一个作为主机,(不用手动更改)
    • 主机恢复时:slave:变为新主机的slave(有延迟)
复制的缺点

复制延时,slave多问题更严重

Redis的java客户端(jedis)

Jedis常用操作

  • 测试
Jedis jedis = new Jedis("127.0.0.1",6379);
System.out.println(jedis.ping());
Set jedis.set("k1","v1");
Get jedis.get("k1")
Set<String> listSet = jedis.keys("*");
  • 事物提交

若事物执行时数据被更改,在执行exec时不会报错,只是事物内容不再执行

  • 主从复制
    • 两个库,先各自独立
    • Jedis jedis_M = new Jedis("127.0.0.1",6379); Jedis jedis_S = new Jedis("127.0.0.1",6380); jedis_S.slaveof("127.0.0.1", 6379); jedis_M.set("k", "v"); String result=jedis_S.get("k"); System.out.println(result); //很可能获取不到(主从关系没建立)太快了,再次执行即可

Jedispool

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 在linux运行Tensorflow代码所遇到的问题

    1,OSError: Unable to open file (file locking disabled on this file system (use H...

    Dean0731
  • Tensorflow

    ##################################################################

    Dean0731
  • 判断gpu是否可用

    Dean0731
  • Redis - 常用命令操作

    Aichen
  • Spring-LogBack笔记(1) - 基础使用

    TRACE < DEBUG < INFO < WARN < ERROR < FATAL

    yingzi_code
  • 高并发系统设计-redis技术梳理

    架构师就是梳理技术,整理文档,落地技术方案,首先架构师需要梳理下redis能为我们解决什么问题,以及redis的技术门槛,redis的优势和缺点。

    用户6969969
  • Redis从入门到放弃(二)

    string是reids的最基本的类型 最大能存储 512M的数据 string类型是二进制的 可以存储任何数据 比如数字 图片 序列化对象等

    会呼吸的Coder
  • Redis相关命令

    OPice
  • 在微博微信场景下学习Redis数据结构

    这个是微信公众号的文章阅读量数量的统计,可以通过redis的string数据结构来解决。使用incr原子操作命令,redis的key是article:readc...

    程序员小强
  • Redis学习二(数据操作).

    在 redis-cli 中使用中文时,必须打开 --raw 选项,才能正常显示中文。

    JMCui

扫码关注云+社区

领取腾讯云代金券