memcached安装与应用原

阿dai学长

发布于 2019-04-03 10:58:03

5590

发布于 2019-04-03 10:58:03

文章被收录于专栏：阿dai_linux

第二十一章 Nosql

21.1Nosql介绍

什么是Nosql

非关系型数据库就是NoSQL，关系型数据库代表MySQL
对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索
NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。
NoSQL数据可以存储在内存里，查询速度非常快
NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库
NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

常见Nosql数据库

k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。
文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。
列存储 Hbase
图 Neo4J、Infinite Graph、OrientDB

21.2memcached介绍

系统环境：centos 7.x86_64

Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。
官方站点 http://www.memcached.org/
数据结构简单(k-v)，数据存放在内存里
多线程
基于c/s架构，协议简单
基于libevent的事件处理
自主内存存储处理（slab allowcation)
数据过期方式：Lazy Expiration 和LRU

slab allowcation原理

将分配的内存分割成各种尺寸的块（chunk），并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。
Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。
Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

growth factor

Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。
通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25
命令：# memcached-tool 127.0.0.1:11211 display

memcached数据过期方式

Lazy Expiration
- Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。
LRU
- Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

21.3安装memcached

官方版本：

本次实验使用系统自带版本：memcached.x86_64 1.4.15-10.el7_3.1

安装

[root@adailinux ~]# yum install -y memcached libmemcached libevent  
#memcached依赖于libevent和libmemecached，如果系统没有安装这两个包，需要手动安装。

启动

[root@adailinux ~]# systemctl start memcached

[root@adailinux ~]# ps aux |grep memcached
memcach+  2363  0.7  0.2 325556  1192 ?        Ssl  16:15   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root      2370  0.0  0.1 112664   972 pts/0    S+   16:15   0:00 grep --color=auto memcached
说明：
-u：表示指定用户
-p：表示监听端口
-m：表示分配的内存
-c：表示最大并发数
[root@adailinux ~]# netstat -lntp |grep memcached
tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      2363/memcached      
tcp6       0      0 :::11211                :::*                    LISTEN      2363/memcached

memcached启动参数配置：

[root@adailinux ~]# vim /etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS=""

说明： OPTIONS可以自定义选项，可以使用“memcached -h”查看其选项。

21.4 查看memcached的状态

方法1：
[root@adailinux ~]# memcached-tool 127.0.0.1:11211 stats

方法2：（前提是安装了libmemcached包）
[root@adailinux ~]# memstat --servers=127.0.0.1:11211

方法3：
[root@adailinux ~]# telnet 127.0.0.1 11211
#连接memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
stats 
#查看memcached的状态
STAT pid 1277            （进程ID）
STAT uptime 176145         （服务器运行秒数,秒）
STAT time 1448592684       （服务器当前unix时间戳）
STAT version 1.4.15        （服务器版本）
STAT libevent 2.0.21-stable
STAT pointer_size 64       （操作系统字大小 32/64位）
STAT rusage_user 3.869494    （进程累计用户时间，秒）
STAT rusage_system 4.636292   （进程累计系统时间，秒）
STAT curr_connections 11     （当前打开连接数）
STAT total_connections 21    （曾打开的连接总数）
STAT connection_structures 12  （服务器分配的连接结构数）
STAT reserved_fds 20
STAT cmd_get 483          （执行get命令总数）
STAT cmd_set 144          （执行set命令总数）
STAT cmd_flush 0          （指向flush_all命令总数）
STAT cmd_touch 0
STAT get_hits 369         （get命中次数）
STAT get_misses 114        （get未命中次数）
STAT delete_misses 0       （delete未命中次数）
STAT delete_hits 0        （delete命中次数）
STAT incr_misses 0        （incr未命中次数）
STAT incr_hits 0         （incr命中次数）
STAT decr_misses 0        （decr未命中次数）
STAT decr_hits 0         （decr命中次数）
STAT cas_misses 0         （cas未命中次数）
STAT cas_hits 0          （cas命中次数）
STAT cas_badval 0         （使用擦拭次数）
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 82819      （读取字节总数）
STAT bytes_written 104266    （写入字节总数）
STAT limit_maxbytes 67108864  （分配的内存数（字节））
STAT accepting_conns 1      （目前接受的连接数）
STAT listen_disabled_num 0
STAT threads 4           （线程数）
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT bytes 4789           （存储item字节数）
STAT curr_items 20         （item个数）
STAT total_items 144       （item总数）
STAT expired_unfetched 15
STAT evicted_unfetched 0
STAT evictions 0          （获取空间删除item的总数）
STAT reclaimed 36
END
quit
#退出
Connection closed by foreign host.

说明： 需要经常关注：get_hits（get命中次数）和curr _items（当前项目数）的比值，该比值代表其命中率。

使用nc命令查看memcached状态

[root@adailinux ~]# yum install -y nc
[root@adailinux ~]# echo stats |nc 127.0.0.1 11211

21.5 memcached命令行

[root@adailinux ~]# telnet 127.0.0.1 11211
#连接到memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
###按Ctrl+]或者输入quit可以退出
set adai 0 30 2
#添加数据
ab
STORED
说明：
adai：键值名称；
0：标记，记录额外信息
30：数据保留时长
2：数据长度（字符数）

get adai
#查看数据
VALUE adai 0 2
ab
END

注：进入memcached后可以使用Ctrl+backspace键逐个删除当前行数据，Ctrl+u一次性清除当前行数据。

memcached语法规则

command name	set/add/replace
key	查找关键字
flags	客户机使用它存储关于键值对的额外信息（标记）
exptime	该数据的存活时间，0表示永远
bytes	存储字节数
data block	存储的数据块（可直接理解为key-value结构中的value）

格式： < command name > < key > < flags > < expiretime > < bytes >\r\n < data block >\r\n

<command name> 可以是"set", "add", "replace"
- "set"表示按照相应的<key>存储该数据，没有的时候增加，有的覆盖
- "add"表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败
- "replace"表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败
<key> 客户端需要保存数据的key
<flags> 是一个16位的无符号的整数(以十进制的方式表示)
- 该标志将和需要存储的数据一起存储,并在客户端get数据时返回
- 客户可以将此标志用做特殊用途，此标志对服务器来说是不透明的
<exptime> 过期的时间
- 若为0表示存储的数据永远不过时(但可被服务器算法：LRU 等替换)
- 如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)
<bytes> 需要存储的字节数(不包含最后的"\r\n"),当用户希望存储空数据时,<bytes>可以为0
最后客户端需要加上"\r\n"作为"命令头"的结束标志（=Enter）。
<data block>：要存储的内容（在上述参数设置完毕后，enter后再输入数据）

示例：

set key1 0 0 2
12
STORED
添加一个数据
get key1
VALUE key1 0 2
12
END
#查看数据
delete key1 0
DELETED
#删除一个数据
get key1
END
quit
Connection closed by foreign host.

[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set adai 0 0 3
123
STORED
get adai
VALUE adai 0 3
123
END
replace adai 2 200 5
12345
STORED
#更改数据
get adai
VALUE adai 2 5
12345
END

quit
Connection closed by foreign host.

查看数据状态：
[root@localhost ~]# memcached-tool 127.0.0.1:11211 display
  #  Item_Size  Max_age   Pages   Count   Full?  Evicted Evict_Time OOM
  1      96B        22s       1       1     yes        0        0    0
#Item_Size项目大小（类似于块的概念），该列以递增的形式显示

注：某数据超出其expire time之后该数据就会消失，如果expire time=0，表示永不失效，可使用LRU等算法替换该数据。

21.6 memcached数据导出和导入

因为memcached数据不能持久化（重启memcached服务数据会丢失），所以在重启服务之前最好将其中的数据导出，待重启完毕后再将数据导入memcached，防止数据丢失。

数据导出

准备数据：

[root@adailinux ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set name 1 0 4
adai
STORED
set age 1 0 2
26
STORED
set weight 1 0 2
80
set high 1 0 3
180
STORED
^]
telnet> quit
Connection closed.

查看数据状态：

[root@adailinux ~]# memstat --servers=127.0.0.1:11211
	 curr_items: 4

即，当前有4个项目。

导出数据：

[root@adailinux ~]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak
Dumping memcache contents
  Number of buckets: 1
  Number of items  : 4
Dumping bucket 1 - 4 total items

[root@adailinux ~]# cat /tmp/memdata.bak
add high 1 1506759339 3
180
add name 1 1506759339 4
adai
add weight 1 1506759339 2
80
add age 1 1506759339 2
26

导入数据

[root@adailinux ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak
NOT_STORED
NOT_STORED
NOT_STORED
NOT_STORED
#数据已经存在，所以无法导入。

[root@adailinux ~]# systemctl restart memcached

[root@adailinux ~]# date -d "+1 hour" +%s
1506768265
#获取1小时后的时间戳，
#将memdata.bak中的时间戳更改为该值

[root@adailinux ~]# vim /tmp/memdata.bak
add high 1 1506768265 3
180
add name 1 1506768265 4
adai
add weight 1 1506768265 2
80
add age 1 10000000 2
26

[root@adailinux ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak
STORED
STORED
STORED
STORED

[root@adailinux ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get name
VALUE name 1 4
adai
END
get age
END
get high
VALUE high 1 3
180
END
get weight
VALUE weight 1 2
80
END

注：导出的数据是带有一个时间戳的，这个时间戳就是该条数据过期的时间点，如果数据已经存在或者当前时间已经过了这个时间点，数据将无法成功导入。

21.7 php连接memcached

使用PHP连接memcached需要先编译安装PHP的memcached扩展模块。（本机之前已经安装过PHP，所以直接重新编译，如果是首次安装，需要下载安装包。）

[root@adailinux src]# pwd
/usr/local/src

下载模块：
[root@adailinux src]# wget http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz

[root@adailinux src]# tar -zxvf memcache-2.2.3.tgz

[root@adailinux src]# cd memcache-2.2.3/

[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/bin/phpize
报错：
Cannot find autoconf. Please check your autoconf installation and the
$PHP_AUTOCONF environment variable. Then, rerun this script.
即，缺少autoconf。。此时无法生产configure文件

[root@adailinux memcache-2.2.3]# yum install -y autoconf

[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/bin/phpize
搞定！！

编译：
[root@adailinux memcache-2.2.3]# ./configure --with-php-config=/usr/local/php-fpm/bin/php-config
[root@adailinux memcache-2.2.3]# echo $?
0

[root@adailinux memcache-2.2.3]# make && make install
Installing shared extensions:     /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

[root@adailinux memcache-2.2.3]# ls /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
memcache.so
即，生成memcache.so模块文件。  

加载模块：
[root@adailinux memcache-2.2.3]# vim /usr/local/php-fpm/etc/php.ini
添加如下参数：
extension=memcache.so

[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/sbin/php-fpm -m
memcache

即，memcache模块加载成功！

测试

下载测试脚本，查看PHP是否支持memcache扩展。

测试脚本内容如下：
[root@adailinux src]# vim 1.php
<?php
//连接Memcache Memcache
$mem = new Memcache;
$mem->connect("localhost", 11211);
//保存数据
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ."<br>";
//替换数据
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";
//保存数组数据
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//删除数据
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";
//清除所有数据
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//关闭连接
$mem->close();
?>

测试：

[root@adailinux src]# /usr/local/php-fpm/bin/php 1.php 
Get key1 value: This is first value<br>Get key1 value: This is replace value<br>Get key2 value: Array
(
    [0] => aaa
    [1] => bbb
    [2] => ccc
    [3] => ddd
)
<br>Get key1 value: <br>Get key2 value: <br>

该情况说明配置成功！

21.8 memcached中存储session

更改session存贮位置（memcached）。

session测试

以下为更改存储位置前，session文件的错处位置：

测试脚本内容如下：
[root@adailinux ~]# cat .mem_se.txt
<?php 
session_start(); 
if (!isset($_SESSION['TEST'])) { 
$_SESSION['TEST'] = time(); 
} 
$_SESSION['TEST3'] = time(); 
print $_SESSION['TEST']; 
print "<br><br>"; 
print $_SESSION['TEST3']; 
print "<br><br>"; 
print session_id(); 
?> 

将该脚本放到当前机器默认站点的根目录/data/wwwroot/www：
[root@adailinux ~]# cd /data/wwwroot/www
[root@adailinux www]# mv /root/.mem_se.txt 1.php
#进行移动并重命名

执行如下命令：
[root@adailinux www]# curl localhost/1.php
1506768299<br><br>1506768299<br><br>pcqf6d4r4sjeede4nkpvjni9n6 
##此时存储了一个session

[root@adailinux www]# ls /tmp/
sess_pcqf6d4r4sjeede4nkpvjni9n6
##该文件为执行上面命令生成的session文件

更改session存储路径

方法1：

[root@adailinux ~]# vim /usr/local/php-fpm/etc/php.ini
;session.save_handler = files
默认情况值为files，存放在/tmp/下
session.save_handler = memcache
##指定存储类型
session.save_path = "tcp://192.168.8.131:11211"
##指定memcached服务器的IP和端口

重启php服务：
[root@adailinux www]# /etc/init.d/php-fpm restart
Gracefully shutting down php-fpm . done
Starting php-fpm  done

删除/tmp/下原因的session文件：
[root@adailinux www]# rm -rf /tmp/sess*

在此创建session:
[root@adailinux www]# curl localhost/1.php
1506769084<br><br>1506769084<br><br>qe73bqse8rmckfchgb7j5b8ba6
###注：此处最后面的值为key

查看session信息：
[root@adailinux www]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get qe73bqse8rmckfchgb7j5b8ba6
VALUE qe73bqse8rmckfchgb7j5b8ba6 0 37
TEST|i:1506769084;TEST3|i:1506769084;
END


如果无法看到session数据的键值，
就无法直接在memcached中查看，
解决办法是将memcached数据导出：  
[root@adailinux www]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak

[root@adailinux www]# cat /tmp/memdata.bak
add qe73bqse8rmckfchgb7j5b8ba6 0 1506770524 37
TEST|i:1506769084;TEST3|i:1506769084;

成功！

方法2：

在httpd.conf中定义session的保存路径：

php_value session.save_handler "memcache" 
php_value session.save_path "tcp://192.168.8.130:11211"

方法3：

在php-fpm.conf对应的pool中定义session的保存路径：

php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.8.130:11211 "

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017/09/28 ，如有侵权请联系 cloudcommunity@tencent.com 删除

sql

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

sql

登录后参与评论

0 条评论

热度