MySQL集群(三)mysql-proxy搭建负载均衡与读写分离

前言

前面学习了主从复制和主主复制,接下来给大家分享一下怎么去使用mysql-proxy这个插件去配置MySQL集群中的负载均衡以及读写分离。

注意:这里比较坑的就是mysql-proxy一直没有更新导致版本太落后了,我在MySQL5.7.19中搭建玩负载均衡后有bug,所以这里我在windows中搭建了两个MySQL(好像是5.6或5.6以下的都可以搭建成功)服务器。

   还有就是可以使用mysql-proxy的替代品mysql-Router功能更强大!废话不多说,我们直接干起来。

一、mysq-proxy简介与安装

1.1、mysql-proxy简介

  mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等

  MySQL Proxy就是这么一个中间层代理,简单的说,MySQL Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,

  从而实现读写分离和负载平衡。对于应用来说,MySQL Proxy是完全透明的,应用则只需要连接到MySQL Proxy的监听端口即可。

  当然,这样proxy机器可能成为单点失效,但完全可以使用多个proxy机器做为冗余,在应用服务器的连接池配置中配置到多 个proxy的连接参数即可。

1.2、实例描述作用

  1)我们在进行web开发的时候,往往一台MySQL服务器是不够用的,可能需要多台,web到底连接哪个数据库?

    这个要程序员自己写的代码来决定的,现在是二台mysql服务器,如果有多台或者是N台呢,靠用php代码来管理连接数据库,就很尴尬了。

  2)mysql proxy就很好解决了这个问题,对于程序端而言,web端的请求,只要到mysql proxy的连接池就OK了,剩下的工作就交给mysql proxy了。对于程序代码管理来说就简单多了。个人觉得这一点最值得借用的了。

1.3、mysql-proxy的安装

  其实这个也有windows的版本,但是我推荐在linux中去使用,因为在开发中大部分服务器都是安装在linux中的。我的就是安装在ubuntu17.04版本的server版中。

  1)首先你需要有这个安装包:mysql-proxy-0.8.5-linux-debian6.0-x86-64bit.tar.gz(需要的话私聊我)

  2)一般我们把这个第三方的软件安装在/opt目录下

   解压mysql-proxy-0.8.5-linux-debian6.0-x86-64bit.tar.gz到/opt/目录并创建软链接。    

    tar  zxvf  mysql-proxy-0.8.5-linux-debian6.0-x86-64bit.tar.gz  –C  /opt/     ln  –snf  /opt/mysql-proxy-0.8.5-linux-debian6.0-x86-64bit  /opt/mysql-proxy(创建软链接不懂的看前面的博文)

  3)配置环境变量

    这里的话,一般配置在.bashrc下,因为每个用户有每个用户不同的功能,你也可以配置在全局环境变量当中(/etc/profile)

    我在.baserc下的配置:

      sudo vi .bashrc 在最后面添加:

      完成之后注意要更新:source .bashrc如果配置在全局变量中也要更新

  4)查看是否安装成功

    其实当你输入mysql-p的时候,按tab键能够联想出来,说明你已经配置成功了。我们可以通过mysql-proxy -V查看是否配置成功。  

二、使用mysql-proxy实现负载均衡

  那我们该怎么去配置负载均衡呢?我们可以通过mysql-proxy --help来查看参数的意思

  搭建步骤:

   我的mysql-proxy安装在ubuntu中,两个mysql服务器安装在windows当中。

  1)在你的已经安装了mysql-proxy的主机上创建一个脚本:mysql-proxy-replication.sh  

#!/bin/bash
/opt/mysql-proxy/bin/mysql-proxy \
--proxy-address=1.0.0.3:4040 \   #这个是安装mysql-proxy的主机上的ip,这个4040端口是mysql-proxy的默认端口
--proxy-backend-addresses=192.168.2.45:3125 \ #这个是mysql服务器安装主机的ip和mysql的端口
--proxy-backend-addresses=192.168.2.45:3126 \
--log-level=info \
--log-file=/opt/mysql-proxy/logs/mysql-proxy-12.log \ #存放日志文件的位置
--daemon

  2)然后我们执行这个脚本,我把脚本放在了家目录上面

    创建好了,可以修改一下文件的权限sudo chmod u+x  mysql-proxy-replication.sh

    还要创建一下存放日志文件的目录与文件sudo mkdir -r /opt/mysql-proxy/logs与touch mysql-proxy-12.log

执行sudo ./mysql-proxy-replication.sh

    注意:这里我为了给大家演示我把mysql-proxy先关闭:使用ps -ef查看进程号,在使用sudo kill -9 进程号或者sudo killall mysql-proxy

  3)我们查看一下日志,看是否脚本运行成功

sudo vi /opt/mysql-proxy/logs/mysql-proxy-12.log    

    从日志文件可以清楚的看到,插件proxy正在监听着4040端口,它还添加了两个MySQL服务器(主主复制)。

  4)获取mysql-proxy中管理的两个服务器的连接

      获取连接:mysql -uroot -p123456 -h1.0.0.3 -P4040

      分析:我们的用户名和密码是使用的是MySQL服务器的用户名和密码,因为是要从他们两个当中获取连接,ip和端口都是使用代理的ip和端口。      

  5)结果

        我们在这里执行创建一个数据库:create database db_test_1

        使用mysql -uroot -p123456 -h1.0.0.3 -P4040获取的连接

        然后在查看mysql两台服务器有没有创建成功

        使用mysql -uroot -p -h192.168.2.45 -P3125和mysql -uroot -p -h192.168.2.45 -P3126登录

两个都是一样的,说明主主复制的两个集群,使用mysql-proxy管理成功!

总结:在这个负载均衡当中,其实就是使用mysql-proxy均衡两个MySQL服务器的连接数。这里不管这个连接里面的连接处理的数据量有多大,处理时间有多长。

   比如主机A有5个连接,处理时间只需要10分钟。二主机B有2个连接,处理时间需要1个小时。当有第8个连接时,更有可能获取的是主机B的连接。    

   mysql_proxy会把连接mysql服务器的tcp/IP连接缓存进连接池,以提高性能. 在缓存池里, 缓存的连接大致是平均分配在每台mysql服务器上. 但具体的每一个连接,始终连某台服务器.

三、使用mysql-proxy实现读写分离

3.1、概述

  Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。

  因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部署与实施的。

3.2、配置读写分离

  在这里我只是配置的是主主复制。

  1)怎么配置在两台MySQL服务器中的主主复制我就不介绍了,前面一篇博客已经介绍了。

  2)在你的已经安装了mysql-proxy的主机上创建一个脚本:mysql-proxy-rw-splitting.sh,并运行 

    首先我们在前面当中已经运行了mysql-proxy我们需要先杀死这个进程:sudo killall mysql-proxy

#!bash/bin
/opt/mysql-proxy/bin/mysql-proxy \
--proxy-address=1.0.0.3:4040 \
--proxy-backend-addresses=17.16.15.112:3125 \  #在3125端口的服务器中配置可读可写
--proxy-read-only-backend-addresses=172.16.15.112:3126 \ #在3126端口的服务器中配置只读
--proxy-lua-script=/opt/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua \  #用这个lua脚本来实现读写分离
--log-level=info \
--log-file=/opt/mysql-proxy/logs/mysql-proxy-12.log \ #这是它的日志
--daemon

  3)我们查看一下日志,看是否脚本运行成功

    sudo vi /opt/mysql-proxy/logs/mysql-proxy-12.log 

2017-09-20 03:03:58: (critical) plugin proxy 0.8.5 started
2017-09-20 03:03:58: (message) proxy listening on port 1.0.0.3:4040
2017-09-20 03:03:58: (message) added read/write backend: 17.16.15.112:3125
2017-09-20 03:03:58: (message) added read-only backend: 172.16.15.112:3126

  4)获取连接:mysql -uroot -p123456 -h1.0.0.3 -P4040

    分析:我们的用户名和密码是使用的是MySQL服务器的用户名和密码,因为是要从他们两个当中获取连接,ip和端口都是使用代理的ip和端口。 

四、Mysql-proxy 中间件的使用

4.1、在mysql 客户端通过中间件连接mysql集群  

  mysql –uroot –p –h 192.168.41.201 –P 4040(注意修改my.conf中绑定ip后才能远程登录mysql,且有远程登录账号 GRANT ALL PRIVILEGES ON *.* TO ‘root’@‘%’ IDENTIFIED BY ‘’ WITH GRANT OPTION;)

  如果远程连接很卡,或者很慢,可以关闭mysql节点 地址反向解析功能 在my.cnf 中添加 skip-name-resolve。

4.2、在mysql 客户端通过中间件连接mysql集群

  可以通过 JDBC 访问mysql-proxy进而访问mysql集群 Class.forName("com.mysql.jdbc.Driver"); String url="jdbc:mysql://192.168.41.201:4040/test?user=briup&password=briup";

不错就点个“推荐”哦!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小文博客

VUTLR定时创建快照(Take Snapshot)备份服务器

38250
来自专栏Pythonista

Linux之文档与目录结构

Linux目录结构的组织形式和Windows有很大的不同。首先Linux没有“盘(C盘、D盘、E盘)”的概念。已经建立文件系统的硬盘分区被挂载到某一个目录下,用...

19930
来自专栏云计算教程系列

如何在CentOS 7上编写自定义系统审计规则

Linux审计系统创建审计跟踪,这是一种跟踪系统上各种信息的方法。它可以记录大量数据,如事件类型,日期和时间,用户ID,系统调用,进程,使用的文件,SELinu...

75020
来自专栏程序员同行者

mysql 主从复制

Mysql的复制是一个异步复制的过程,从一个主(master)的复制到另一个备(salve)的。在主备之间实现复制过程主要有三个线程来完成,其中两个线程(sql...

19150
来自专栏一枝花算不算浪漫

[Linux]Linux下redis的安装及配置.

30780
来自专栏程序小工

【Linux】系统学习Crontab定时任务

crontab 是一个用于设置周期性执行任务的工具。目前服务器端的运行环境大多数为 Linux,在日常的运营和维护中会有很多需要定期执行的操作,其中有些操作是可...

22320
来自专栏L宝宝聊IT

Nagios监控系统应用示例

21860
来自专栏我的博客

logstash之input配置file类型详解

监听文件变化,记录一个.sincedb的数据库文件跟踪监听文件读取位置(记录的是时间戳) 配置案例 input { file { path => ["/d...

35950
来自专栏张戈的专栏

Linux服务器的进程查看命令详解

Linux 服务器正常启动后,提供服务时会调用程序,占用进程。这时候我们如何查看系统中有哪些进程在被调用呢?我们可以通过以下命令来查看。 一、ps 命令 ps ...

4.2K90
来自专栏腾讯云实验室

搭建 PySpider 爬虫服务

腾讯云提供了开发者实验室教你搭建 PySpider 爬虫服务,教程内容如下,用户可以点击开发者实验室快速上机完成实验。

40130

扫码关注云+社区

领取腾讯云代金券