前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MYSQL-3m架构回顾

MYSQL-3m架构回顾

作者头像
py3study
发布2020-01-08 15:48:15
1K0
发布2020-01-08 15:48:15
举报
文章被收录于专栏:python3python3

                Master-Master replication manager for Mysql

    我们先来回顾一下mmm的概念,它是一套灵活的基于perl编写的脚本程序,自己本身不提供mysql服务的功能,它是用来对mysql replication 进行监控和故障迁移,并能管理mysql Master-Master复制的配置。(同一时间只有一个节点是可写的)。附带的工具套件可以实现多个slaves的read负载均衡。      被管理的mysql server机需要安装相关的agent脚本,mysql-mmm的监控端就可以对安装过此监控脚本的mysql server 进行监控。     但是在出现多台可写的mysql server 时,mmm为了防止写入冲突,保证数据有效性,在同一时间,它只允许一台mysql server进行写入操作,所以呢,它并不适用与有着大并发写入请求的生产环境。但是呢,当有多台可读的mysql server 存在的时候,它可以通过一些其他软件的配合,来实现读取请求的负载均衡,这样大大提高mysql server 的读取性能。  最亮的来了,在运行某一台mysql server 处于不可用状态的时候,mmm可以将原有的操作请求迁移到其他的mysql server,从而实现了服务的高可用性。包括写请求迁移,读请求迁移,主从同步的master迁移。     mmm同时也提供了一套很好的运维管理工具,可以实现简单快捷的数据备份与维护。简化管理员的日常维护成本。

mysql-mmm的组成以及原理

三个脚本: mmm_mond:  监控进程,负责所有的监控工作,决定和处理所有节点角色活动。此脚本需要在监管机上运行。 mmm_agentd:  运行在每个mysql服务器上的代理进程,完成监控的探针工作,执行简单的远端服务设置,此脚本需要在被监管机器上运行。 mmm_control:  提供管理mmm_mond进程的命令。

原理:      mmm的监管端会提供多个虚拟IP 我们简称VIP,包括一个可写VIP,多个可读的VIP,通过监管的管理,这些IP会绑定在可用mysql之上,当某台mysql 故障时,监管机就会将它的虚拟IP迁移到其他的mysql。      所以呢,我们要在mysql中添加相关的授权用户,以便能够让mysql可以支持监理机的监控,授权的用户一般包括2个,mmm_minitor和 mmm_agent 两个用户,如果你想使用mmm的备份工具呢,还需要再添加一个mmm_tools用户。

mysql-mmm架构的实现:

    拓扑:五台服务器,包括:一台建立机,两台mysql-master,两台mysql-slave     RHEL6.x ,64位环境。

真实IP分配:  监管机:server.uplooking.com  192.168.10.254  mysql: master1.uplooking.com 192.168.10.10  mysql: master2.uplooking.com 192.168.10.20  mysql: slave1.uplooking.com 192.168.10.30  mysql: slave2.uplooking.com 192.168.10.40 虚拟IP分配:  192.168.10.110  write  192.168.10.120 read   192.168.10.130 read  192.168.10.140 read  192.168.10.150 read

开始配置:

step1:起服务 先把源码包的四台mysql服务器搭建好,修改主配置文件。 192.168.10.10  my.cnf server_id=10 log_bin=mysql log_slave_updates=1 auto_increment_increment=2 auto_increment_offset=1 skip-name-resolve :wq

192.168.10.20  my.cnf server_id=20 log_bin=mysql log_slave_updates=1 auto_increment_increment=2 auto_increment_offset=2 skip-name-resolve :wq

选项解析:my.cnf auto_increment_offset=1   指定自增长字段的起始值 auto_increment_increment=2  指定自增长字段自增长的步长 skip-name-resolve    不做主机名解析 log_slave_updates=1    允许级联复制

自增长字段的意义主要在于限制两台可写入服务器在同时收到写入请求的时候的冲突。 -------------------------------------------- 192.168.10.30 my.cnf server_id=30 log_bin=mysql log_slave_updates=1 :wq

192.168.1.103  my.cnf server_id=40 log_bin=mysql log_slave_updates=1 :wq -------------------------------------------

你会发现我把所有的bin_log日志都命名为了mysql,仅仅是习惯问题,有些配置我们要知其然,知其所以然,比如说,我为什么要加那一条不做主机名解析? 对mysql比较了解的朋友第一时间就会反映到binlog日志的命名,默认情况下mysql是根据你的主机名命名binlog日志的,主从关系的建立也就依靠这binlog日志,说到这里,我们再来回顾下主从mysql  主从mysql在建立主从关系的时候,会涉及到两个进程,一个是Slave_IO_running,一个是Slave_SQL_running, IO负责的是把主服务器的binlog日志里的内容拷贝到本机的ralaybinlog日志里, SQL进程呢则是负责执行本机的relaybinlog日志里的sql语句,从而把数据写进表里。  所以说,在你主从同步的过程中,slave需要与所指向的master的日志同步,日志中的position也要同步,所以在mmm中的主从我们需要让他保持binlog日志的同步,不然一台master故障,在切换另一台master的时候日志是同步不过来的。

10-40 mysql-server 主机   : service  mysql  start

step2:配置双主: 同步两台master的数据库: master1 :mysqldump   --all-database > /tmp/mysql-all.sql      scp  /tmp/mysql-all.sql   root@192.168.10.20:/tmp

master2:mysql < /tmp/mysql-all.sql

两台master建立主主关系: master1上做授权:grant  replication slave on *.* to slave @”%”  identified by “slave” ;        flush privileges master2 上做授权:grant  relpication slave on *.* to slave@”%” identified by “slave” ;        flush privileges

master1 上做回指: >change master to master_host='192.168.10.20', master_user='slave' master_password='slave' master_log_file='mysql-binlog' master_log_pos=120;

master2上做回指: >change master to master_host='192.168.10.10', master_user='slave' master_password='slave' master_log_file='mysql-binlog' master_log_pos=120;

可以查看一下主从状态: echo  “show slave status\G;” | mysql .....

slave_io_running:yes slave_sql_running:yes ...... ok !  双主搭建完毕。

step3:配置两台slave: master1上做授权:grant replication slave on *.* to 'slave@192.168.10.40'  identified by  “slave”        grant replication slave on *.* to 'slave@192.168.10.30'  identified by  “slave”

slave1、2分别回指:

>change master to master_host='192.168.10.10', master_user='slave' master_password='slave' master_log_file='mysql-binlog' master_log_pos=120;

两台slave全部指向了master1

ok,slave配置完成。 基本的框架结构起来了,开始配置mmm。

step4:配置mmm 在所有服务器上安装mysql-mmm 安装依赖包 yum -y install  perl-Class-Singleton  (启动mysql-mmm-montior进程时需要此软件包提供的Singleton 类)  yum -y install  perl-Params-Validate yum -y install perl-XML-DOM                        yum -y install perl-XML-DOM-XPath yum -y install perl-MailTools

rpm -ivh perl-Log-Log4perl-1.26-1.el6.rf.noarch.rpm  (启动mysql-mmm-agent进程时需要此软件包提供的Log-Log4perl 类) tar -zxvf Algorithm-Diff-1.1902.tar.gz    (启动mysql-mmm-agent进程时需要此软件包提供的Algorithm-Diff类)                                         

cd Algorithm-Diff-1.1902 perl  Makefile.PL make make test make install

tar -zxvf Proc-Daemon-0.03.tar.gz (启动mysql-mmm-agent进程时需要此软件包提供的Daemon类)                      cd Proc-Daemon-0.03                                                                            perl    Makefile.PL                                                       make                                                                   make  test                                                              make  install  

cd Net-ARP-1.0.8  (分配虚拟Ip地址) perl    Makefile.PL make make  install

安装mysql-mmm tar -zxvf mysql-mmm-2.2.1.tar.gz mysql-mmm-2.2.1 make install

安装目录 /usr/lib/perl5/vendor_perl/5.8.8/MMM                 MMM 使用的 perl 模块 /usr/lib/mysql-mmm                                              MMM 的脚本揑件 /usr/sbin                                                               MMM 的命令保存路径 /var/log/mysql-mmm                                             MMM 的日志保存路径 /etc                                                                      MMM 配置文件保存的路径 /etc/mysql-mmm                                                  MMM 配置文件保存的路径,优先级最高 /etc/init.d/                                                            agentd 和 monitor 的启劢关闭脚本

在10 、20、30、40 上做用户授权(监控用户monitor   代理用户agent) grant  replication  client  on *.*  to  monitor@"%" identified by "monitor"; grant  replication client,process,super   on *.*  to  agent@"%" identified by "agent";

在所有主机上编辑mmm_common.conf  文件

[root@localhost mysql-mmm]# cat /etc/mysql-mmm/mmm_common.conf   active_master_role      writer                                 <host default>         cluster_interface               eth0         pid_path                        /var/run/mmm_agentd.pid         bin_path                        /usr/lib/mysql-mmm/

        replication_user            slave         replication_password    slave

        agent_user                      agent         agent_password              agent

</host>

<host  db10>         ip                                      192.168.10.10         mode                                    master         peer                                    db20 </host>

<host db20>         ip                                      192.168.10.20         mode                                    master         peer                                    db10 </host>

<host db30>         ip                                      192.168.10.30         mode                                    slave </host>

<host db40>         ip                                      192.168.10.40         mode                                    slave </host>

<role writer>         hosts                                   db10, db20         ips                                     192.168.10.110   #指定负责写操作数据库服务器使用的虚拟ip         mode                                    exclusive </role>

<role reader>         hosts                                   db20, db30,db40         ips                                     192.168.10.120, 192.168.10.130, 192.168.10.140    #指定负责读操作数据库服务器使用的虚拟ip         mode                                    balanced </role> [root@localhost mysql-mmm]#

参数解释: peer的意思是等同,表示db1与db2是同等的。 ips指定VIP mode exclusive 只有两种模式:exclusive是排他,在这种模式下任何时候只能一个host拥有该角色 balanced模式下可以多个host同时拥有此角色。一般writer是exclusive,reader是balanced

在4台数据库服务器10、20、30、40上 编辑mmm_agent.conf  (此文件监控主机上可以没有) [root@localhost mysql-mmm]# cat /etc/mysql-mmm/mmm_agent.conf include mmm_common.conf this db10  #此处修改为当前数据库服务器的主机名(主机头名字即可)

在4台数据库服务器10、20、30、40上启动代理进程agent [root@localhost ~ ]# /etc/init.d/mysql-mmm-agent start Daemon bin: '/usr/sbin/mmm_agentd' Daemon pid: '/var/run/mmm_agentd.pid' Starting MMM Agent daemon... Ok

[root@localhost mysql-mmm]#ps aux | grep mmm_agentd   默认监听9989端口

编辑监控主机254的配置文件 mmm_mon.conf

[root@localhost mysql-mmm]# cat mmm_mon.conf

include mmm_common.conf <monitor>         ip                                      192.168.10.254         pid_path                                /var/run/mmm_mond.pid         bin_path                                /usr/lib/mysql-mmm/         status_path                             /var/lib/misc/mmm_mond.status         ping_ips                                192.168.10.10, 192.168.10.20, 192.168.10.30, 192.168.10.40          #4台数据库服务器的真实ip地址。 </monitor>

<host default>         monitor_user                    monitor         monitor_password                monitor </host>

debug 0 [root@localhost mysql-mmm]#

由于文件太多,在这里做下RP: /etc/mysql-mmm/mmm_common.conf    所有主机,大家心里有数,有几台服务器,都扮演什么角色 /etc/mysql-mmm/mmm_agent.conf    被监控主机,告诉大家自己是什么角色. /etc/init.d/mysql-mmm-agent start     被监控主机,运行agent进程 /etc/mysql-mmm/mmm_mon.conf     告诉mmm脚本,我是监控。 /etc/init.d/mysql-mmm-monitor start    监控主机,运行monitor进程。

在监控服务器104上查看4台数据库服务器的状态 监控名 mmm_control命令简介

[root@server3 mysql-mmm]# mmm_control    help

help                   查看帮助信息

ping                   ping监控

show                   查看状态信息

checks [<host>|all [<check>|all]]  显示检查状态,包括(ping、mysql、rep_threads、rep_backlog)

set_online   <host>    设置某host为online状态

set_offline  <host>    设置某host为offline状态

mode          打印当前的模式,是ACTIVE、MANUAL、PASSIVE?默认ACTIVE模式

set_active    更改为active模式

set_manual    更改为manual模式

set_passive     更改为passive模式

    move_role [--force] <role> <host> - move exclusive role <role> to host <host>

       #更改host的模式,比如更改处于slave的mysql数据库角色为write  

   (Only use --force if you know what you are doing!)

set_ip <ip> <host>       为host设置ip,只有passive模式的时候才允许更改!

测试mysql  mmm 配置: 1、在监控主机192.168.1.104上执行  mmm_control  show  2、停止192.168.1.100 上的数据库服务,再执行mmm_control  show命令,发现192.168.1.101 使用虚拟Ip 192.168.1.12 3、在slave角色的数据库服务器上 查看是否获取到监控主机分配的虚拟ip地址 ,执行命令  ip   a  或 ip  addr   show    使用ifconfig  命令看不到网卡获取的虚拟Ip地址。

4、分别在2台,master角色的主机上做用户授权:grant all  on  *.*  to   root@"%"  identified by  "123";    在客户端访问master数据库服务器:mysql  -h192.168.1.12  -uroot  -p123  (能够登陆成功说明配置成功)

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-09-02 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档