Memcached基础了解

什么是NoSQL？

• 关系型数据库代表MySQL。
• 非关系型数据库就是NoSQL。
• 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索。
• NoSQL非关系型数据库存储原理非常简单（典型的数据类型为k-v）（key-value），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。
• NoSQL数据可以存储在内存里，查询速度非常快。
• NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库。
• NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式。

大白话理解 关系型数据库和非关系型数据库

关系型数据库： 例如京东或者淘宝这些大型电商平台，有着很庞大的数据结构体系，有用户表，商品表，用户信息，商品信息，等当产生一个订单的时候，或者查询数据，是哪个用户，在什么时间，购买了哪些商品，当调取一个用户在某个时间买了什么东西的时候这些数据是存在一定的关联的。

非关系型数据库： NoSQL的存在就是不需要这些错综复杂的理念，一个key对应一个value。例如一个用户下对应着他的采购订单。且数据全部存在闪存中。不需要再次从磁盘中调取。但是NoSQL是不可以替代Mysql独立存在的。

例如现实运维环境中，我们一台WEB安装了一个Discuz，随着访问量的增加，数据库扛不住那么大的压力；怎么办呢？我们设置一个NoSQL，当用户读取完毕后会直接放在NoSQL中，当用户再次读取的时候，会直接从缓存中读取，不需要再次从数据库中读取。帖子的ID就类似于Key，帖子的内容就类似于Value。

NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式。所以扩展也比较容易。如果你的A服务器受到瓶颈，增加服务器让让其继续缓存呗，因为不像关系型数据库需要互相关联，NoSQL直接横向扩展即可！

mysql的话只有前面说到的主主，主从，多主多从针对从进行负载均衡。要么就是分库分表，前提是关联的数据库不可以分开，不关联的数据库可以分开。

常见NoSQL数据库

• k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。
• 文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。
• 列存储 Hbase
• 图 Neo4J、Infinite Graph、OrientDB

Memcached介绍

• Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。
• 官方站点 http://www.memcached.org/
• 数据结构简单(k-v)，数据存放在内存里
• 多线程
• 基于c/s架构，协议简单
• 基于libevent的事件处理
• 自主内存存储处理（slab allowcation)
• 数据过期方式：Lazy Expiration 和 LRU

Memcached的数据流向

mark

一般使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态web应用的速度、提高可扩展性！

正常的作业流程是：

用户发起请求给NGINX,然后再次调用PHP，PHP和mysql打交道，当用户PHP获取到请求转给NGINX，NGINX再次把请求数据交给用户。

如果并发量很大，请求mysql的队列比较多，这时候我们就需要增加一个缓存层Memcached。这样访问过的数据全部丢在缓存中，当再次请求这个数据的时候就直接从Memcached读取即可！

Slab allocation

mark

Slab Allocation的原理

• 将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。
• Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I 参数来指定。
• Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

Growth factor

• Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。
• 通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25
• 命令：

# memcached-tool 127.0.0.1:11211 display

Memcached的数据过期方式

Lazy Expiration

Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

LRU ★★★★★

Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

安装 memcached

yum install -y memcached libmemcached libevent
 
systemctl start memcached
 
[[email protected] ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      2899/memcached   

[[email protected] ~]# ps aux | grep memcached
memcach+   2899  0.0  0.1 325556  1180 ?        Ssl  22:02   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

vim /etc/sysconfig/memcached

可以配置参数

• 比如加上监听的ip，可以把OPTIONS=”” 改为OPTIONS=”127.0.0.1″
• 其中-m 指定memcached分配内存
• -c 指定最大并发数
• -u 指定运行memcached服务的用户

查看Memcached运行状态

memcached-tool 127.0.0.1:11211 stats

或

yum install -y nc

echo stats |nc 127.0.0.1 11211

或

memstat --servers=127.0.0.1:11211

以上三种查看memcached服务状态。

 Memcached是怎么工作的？

Memcached的高性能源于两阶段哈希（two-stage hash）结构。Memcached就像一个巨大的、存储了很多<key,value>对的哈希表。通过key，可以存储或查询任意的数据。 客户端 可以把数据存储在多台memcached上。当查询数据时，客户端首先参考节点列表计算出key的哈希值（阶段一哈希），进而选中一个节点；客户端将请求发送给选中的节点，然后 memcached节点通过一个内部的哈希算法（阶段二哈希），查找真正的数据（item）并返回给客户端。从实现的角度看，memcached是一个非阻塞的、基于事件的服务器程序。

Memcached的存取对应的服务器：

在查Memcached的时候经常会想到一个问题：“如果我将东西分别存在不同的服务器上面，那么memcached是如何分配这些数据在哪些服务器上面呢？ 取的时候又是如何取的呢？”查到了一个博主的解析说：“memcached分布式环境下，每个服务器端本身没有相互连接，它的数据分布其实是由客户端来维持的，客户端按照自己的分布算法来讲数据分配给指定的服务器，取的时候客户端再查找指定的服务器！”可是我还没有做过测试，所等我做了测试之后让我用数据来说明一切吧！

mark

Memcached分布式集群：

Memcached是通过在内存中开辟一块区域来维持一个大的hash表来加快前台页面对数据库的数据访问的！它和数据库是独立的，不用经过硬盘，目前主要用来缓存数据库中变动不大的数据。允许多个server通过网络形成一个大的hash，用户不必关心数据存放在哪，只调用相关接口就可。这就是memcached的分布式集群！

Memcached 的优势：

• Memcached最大的好处就是它带来了极佳的水平可扩展性，特别是在一个巨大的系统中。由于客户端自己做了一次哈希，那么我们很容易增加大量memcached到集群中。memcached 之间没有相互通信，因此不会增加 memcached的负载；没有多播协议，不会网络通信量爆炸（implode）。

memcached和MySQL的query cache相比，有什么优缺点？

缺点：

1）相比MySQL的query cache，把Memcached引入应用中需要不少的工作量。MySQL的query cache，可以自动地缓存SQL查询的结果，被缓存的SQL查询可以被反复、快速的执行。

优点：

1）当修改表时，MySQL的query cache会立刻被刷新（flush）。当写操作很频繁时，MySQL的query cache会经常让所有缓存数据都失效。

2）在多核CPU上，MySQL的query cache会遇到扩展问题（scalability issues）。在多核CPU上，query cache会增加一个全局锁（global lock）, 由于需要刷新更多的缓存数据，速度会变得更慢。

3）在MySQL的query cache中，是不能存储任意的数据的（只能是SQL查询结果）。利用memcached，我们可以搭建出各种高效的缓存。比如，可以执行多个独立的查询，构建出一个用户对象（user object），然后将用户对象缓存到memcached中。而query cache是SQL语句级别的，不可能做到这一点。在小的网站中，query cache会有所帮助，但随着网站规模的增加，query cache的弊将大于利。

4）query cache能够利用的内存容量受到MySQL服务器空闲内存空间的限制。给数据库服务器增加更多的内存来缓存数据，固然是很好的。但是，有了memcached，只要您有空闲的内存，都可以用来增加memcached集群的规模，然后您就可以缓存更多的数据。

扩展链接：

http://www.cnblogs.com/hukey/p/5605498.html