Memcached与MySQL数据同步

1、介绍

  在生产环境中,我们经常使用MySQL作为应用的数据库。但是随着用户的增多数据量的增大,我们将会自然而然的选择Memcached作为缓存数据库,从而减小MySQL的压力。但是memcached在用户、应用与MySQL三者中保持着数据同步也是一个不小的工程。

  例如用户从memcached缓存中换取某数据,并且执行删除命令。它需要到MySQL中删除,之后还须要设计一个程序将Memcached与之对应的数据也删除掉。

  假若我们能够做到在MySQL中增删改时都能够自动触发删除memcached中相应的数据,那岂不美滋滋呀。这当然能够做到啦,我们将采用采用MySQL Memcached UDF(User Defined Functions)方法。

  mysql memcached UDF 其实就是通过libmemcached来使用memcache的一系列函数,通过这些函数,你能 对memcache进行get, set, cas, append, prepend, delete, increment, decrement objects操作,如果我们通过mysql trigger来使用这些函数,那么就能通过mysql更好的,更自动的管理memcache!

2、软件下载与安装

  2.1、软件下载

  需要使用的软件又两个,libmemcached以及memcached_functions_mysql

  百度云下载链接:http://pan.baidu.com/s/1pKCKjwB 密码:fks8

  网上找的下载网址:http://download.tangent.org(当时找软件的时候,网上多篇文章都说这里可以下载那两个软件。可我进去就是找不到呀,23333)

  2.2、软件安装

  简介:

  这两个软件的安装比较蛋疼,毕竟是开源软件,哪个版本依赖哪个版本,哪个版本不与哪版本个兼容。当时我安装这两个软件用了一个上午时间。因为之前我在安装PHP中memcached扩展模块需要依赖这个软件库,所以安装了一个最新版本libmemcached-1.0.18,因而能够使用PHP的memcached扩展模块中的所有功能。、

  但是在安装memcached_functions_mysql时,就显得很蛋疼了。

  一开始我直接安装memcached_functions_mysql-1.1,到make的时候就出现下面的错误。

servers.c:122: error: 'memcached_st' has no member named 'hosts' servers.c:123: error: 'memcached_st' has no member named 'hosts' servers.c:124: error: 'memcached_st' has no member named 'hosts' servers.c:126: error: 'memcached_st' has no member named 'hosts'

……

这是什么原因呢?

  这就是上面所提到软件兼容问题。

  后来在网上看到说是memcached_functions_mysql-1.1这个版本配对libmemcached-0.37版本以上都会出现这种问题。

  接着我就进行一次又一次测试:

  Libmemcached(1.0.2、1.0.3、1.0.18、0.34、0.36版本)+ memcached_functions_mysql-1.1进行安装。结果成功的只有0.34、0.36版本。

  因为我想要保证相对较高版本的libmemcached,因为低版本的不支持PHP的memcached扩展模块的一些新功能。

  既然memcached_functions_mysql-1.1版本不能对应libmemcached的高版本,那么我就退而求其次,使用memcached_functions_mysql-0.9咯。

  百度了好久好久没找着,最后在国外的网站github中找到。

  接着进行memcached_functions_mysql-0.9的安装测试,结果还是不理想。

  突然灵光一闪,那我就安装两个libmemcached咯,一个1.0.18版本,一个0.34版本。最终成功安装。(libmemcached-0.34与memcached_functions_mysql-1.1配对进行安装)

1):安装libmemcached-0.34

参考

http://www.cnblogs.com/phpstudy2015-6/p/6670103.html#_label2

2):安装memcached_functions_mysql-1.1

#tar zxvf memcached_functions_mysql-1.1.tar.gz
#cd memcached_functions_mysql-1.1
#./configure --with-mysql=/usr/local/mysql/bin/mysql_config --with-libmemcached=/usr/local/libmemcached
#make
#make install

3):拷贝lib文件到mysql的plugin下面

# cp /usr/local/lib/libmemcached_functions_mysql.* /usr/local/mysql/lib/plugin/

4)往MySQL添加memcache UDF函数

一共有两种方法:

1、在MySQL里执行 source install_functions.sql

mysql>source /home/username/(memcached_functions_mysql-1.1源码路径)/sql/ install_functions.sql

2、在linux主机执行mysql <sql/install_functions.sql

#/usr/local/mysql/bin/mysql < /home/username/(memcached_functions_mysql-1.1源码路径)/sql/ install_functions.sql

5):检查添加函数是否成功

mysql>select * from mysql.func;

结果显示有很多函数,表示添加函数成功

注意:

1、必须要带有--with-libmemcached,否则就会显示找不到libmemcached

2、有个小细节,就是经常进行安装卸载libmemcached时(即--prefix有设置相同的名字),即使有--with-libmemcached正确的路径,也有可能会显示找不到libmemcached。

解决:可以使用不同的名字(--prefix);或者重启linux

3、功能介绍

  从select * from mysql.func;的结果中我们可以看到很多关于memcached的函数。熟悉memcached指令的同学一眼看过去就能够知道这个函数的大概功能。memc_set、memc_get这不就是相当set与get命令嘛。

具体功能可参考文档:

http://dev.mysql.com/doc/refman/5.1/en/ha-memcached-interfaces-mysqludf.html

简单测试一下这些函数:

#测试前当然要先将MySQL与memcached建立连接啦!
mysql> select memc_servers_set('192.168.95.11:11211');
mysql> select memc_server_count();
mysql> select memc_set('m','llppppp');
mysql> select memc_get('m');

telnet 192.168.95.11 11211

4、实例测试

1、新建一个数据库test233以及表tab1

2、建立三个触发器

插入数据:
mysql>delimiter $
mysql>create trigger tab1_insert_memc
    -> before insert on tab1
    -> for each row begin
    -> set @m=memc_set(NEW.id,NEW.name);   
    -> end$
更新数据:
mysql> create trigger tab1_update_memc
    ->before update on tab1
    -> for each row begin
    -> set @m=memc_replace(OLD.id,NEW.name);   
    -> end$
删除数据:
mysql> create trigger tab1_delete_memc
    -> before delete on tab1 
    -> for each row begin
    -> set @m=memc_delete(OLD.id);
    -> end$
mysql>delimiter ;

3、连接memcached服务器进行数据测试

mysql> select memc_servers_set('192.168.95.11:11211');

1)、向tab1插入几条数据,并查看结果

mysql> insert into tab1 value('1','1111aaaaff');
.......

telnet 192.168.95.11 11211

2)、更改数据

mysql> update tab1 set name='ooooooooooooooo' where id=1;

telnet 192.168.95.11 11211

3)、删除数据

mysql> delete from tab1 where id=1;

telnet 192.168.95.11 11211

5、总结建议

1、如果出现mysql服务重启,需要重新连接memcached服务器select memc_servers_set('192.168.95.11:11211)

2、使用命令查看可以设置的参数,根据具体项目设置最合适参数select memc_list_behaviors()/G

3、设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态,表示在memcached出现问题时可以继续将数据插入到MySQL中。否则将会等到timeout执行插入操作。

4、在MySQL中使用这个功能时,不要一味地将所有表的数据都布置成这种形式,避免MySQL中使用过多的函数、以及触发器而影响性能。

(以上是自己的一些见解与总结,若有不足或者错误的地方请各位指出)

作者:那一叶随风

声明:以上只代表本人在工作学习中某一时间内总结的观点或结论。转载时请在文章页面明显位置给出原文链接

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我是攻城师

ElasticSearch入门介绍之会当凌绝顶(一)

37650
来自专栏咸鱼不闲

jsp与数据库的面对面交流

前言:要完成数据的交互的一种方式就是jsp+jsp+数据库。下面就来演示一个用jsp展示数据库内的图片的小例子。

12330
来自专栏沃趣科技

ASM 翻译系列第二十四弹:ASM Internal ASM files number 10 and 11

原作者:Bane Radulovic 译者: 郭旭瑞 审核: 魏兴华 DBGeeK社群联合出品 ASM files number 10 and 11...

30030
来自专栏数据和云

【MySQL】磁盘写满之后,数据库show status受到阻塞的原因

编辑手记:前两天同事讨论到一个问题,当mysql从库磁盘满之后,show status及show slave status会被卡住,但其他select操作不受影...

40660
来自专栏java一日一条

数据库的读写分离

读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务...

18530
来自专栏zhisheng

《从0到1学习Flink》—— Flink 配置文件详解

前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。

42100
来自专栏快乐八哥

PHP+MySQL代码部署在Linux(Ubuntu)上注意事项

最近帮同学做一个网站,同学买的是阿里云服务器,Linux发行版是Ubuntu12.04。我在本地把程序写好,都调试好了。然后他让我自己发布和部署。之前在大学里上...

468100
来自专栏MYSQL轻松学

Mysql主从延迟解决办法

1.MIXED模式无索引或SQL慢 在从库上pager grep -v Sleep;show processlist 查看到正在执行的SQL。 解决方...

50650
来自专栏PHP在线

手把手教会你小程序登录鉴权

56840
来自专栏蔡鹏的专栏

开源分布式监控系统 OWLv5.0.0 安装部署完整手册

OWL 是TalkingData公司推出的一款开源分布式监控系统 . 目前使用OWL监控了二十几台服务器,便捷很多 Go语言开发,部署维护简单

59380

扫码关注云+社区

领取腾讯云代金券