前言碎语
好久没更博了,今天引用美团技术团队的一篇文章来给大家分享一款数据库中间件-美团DBProxy!
我们都知道,随着数据量的不断增大,传统的直连数据库对数据进行访问的方式已经无法满足一般公司的需求。相对于业务逻辑分库分表,通过DBProxy数据库中间件,可以更简单轻松更快的对数据库进行水平扩展,由原来单台数据库扩展到多台数据库,数据库中间件通过路由规则将数据的访问请求路由到其中一台数据库上,从而大大降低了数据访问的瓶颈和单台数据的压力。
开源项目地址:https://github.com/Meituan-Dianping/DBProxy
这次分享的主要内容包括6个部分:
首先介绍一下为什么要使用DBProxy:
这样极大的减轻了DBA和应用开发人员的工作;而没有DBProxy的情况下,这些工作是由RD来实现的,引入DBProxy对于系统的可管理性和便利性都有非常大的帮助。
介绍DBProxy的软件模块。软件模块分三层:
首先介绍一下连接的管理:根据我们链路比较长的特点,着重添加了对于连接异常的检测和处理,包括:
SQL处理模块中增加了SESSION参数的功能: 客户端分配一个DB连接的时候,如果二者SESSION级参数不一样时,首先做一个校正,校正之后才会真正执行查询。
连接池的管理中做了这样的修改:将链表改成Hash表,其中Hash键是用户名,Hash值是以用户身份建立的连接的一个链表。如下图把连接按用户来分,client分别会分到各自user建立的db连接,二者互不影响,既保证了查询的正确性,又保证了较高的性能。
下面讲一下访问控制模块,是在我们整个软件模型的第一层。
DBProxy的监控体系实现了一个从无到有的过程,目前主要监控一些DBProxy内部运行相关的一些参数:
对于sharding版本,做了如下的改进:
Q:这方面能大概讲一下怎么去改进的? A:首先是一个语法的支持,我们就是把中间不支持语法的支持,这样的话有些复杂的查询,我们可以通过这个语法来进行一些,比如说where条件的分析,可以知道分布分表的情况,然后就是表的替换。
和大家分享一下上线的现状:从2015.5上线第一个版本后到现在已经有87%的服务组接入了DBProxy, DBProxy也已经经历了5个版本的迭代。
最后讲一下未来的计划:
ps:大家在安装的时候遇到问题,可参考如下,因安装结果来自于本人团队老大,非亲自安装测试,故不能详尽其结果及过程,待亲自测试后再补充
centos 6.5 64x #1 yum install jemalloc jemalloc-devel libevent libevent-devel openssl openssl-devel lua lua-devel bison flex libtool.x86_64 libtool-devel libffi libffi-devel gettext gettext-devel #libevent 找不到的问题 git clone https://github.com/libevent/libevent.git #autoreconf -ivf ./configure make make verify # (optional) sudo make install #2 yum install glib2 glib2-devel (不要执行,执行后总是编译错误) #3 yum install -y Percona-Server-devel-55.x86_64 Percona-Server-client-55.x86_64 Percona-Server-shared-55 (无法直接安装的看下面的) #see https://www.percona.com/doc/percona-server/5.5/installation/yum_repo.html wget http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm rpm -ivH percona-release-0.1-3.noarch.rpm #yum install Percona-Server-server-55 yum install -y Percona-Server-devel-55.x86_64 Percona-Server-client-55.x86_64 Percona-Server-shared-55 #安装 Percona 错误,解决办法 yum -y remove mysql-libs* #4 glib-2.4.2.0.tar.xz download tar xf glib-2.42.0.tar.xz cd glib-2.42.0 autoreconf -ivf ./configure make [ Become root if necessary ] rm -rf /install-prefix/include/glib.h /install-prefix/include/gmodule.h make install # install GLIB #5 Dbproxy sh autogen.sh sh bootstrap.sh make && make install #No package 'glib-2.0' found解决办法: vim ~/.bashrc export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH #6 cp script/source.cnf.samples /usr/local/mysql-proxy/conf/source.cnf /usr/local/mysql-proxy/bin/encrypt Yudian#3201 vim /usr/local/mysql-proxy/conf/source.cnf mv source.cnf yudian.cnf ./mysql-proxyd yudian start