1、Mycat的分片
两台数据库服务器:
192.168.80.11
192.168.80.4
操作系统版本环境:CentOS6.5
数据库版本:5.6
mycat版本:1.4 release
数据库:db1,db2,db3
说明:db1.db2 在192.168.80.11 服务器上 ,db3在192.168.80.4服务器上
1、schema.xml配置:
Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置,是正确使用MyCat的前提。这里就一层层对该文件进行解析。
schema 标签用于定义MyCat实例中的逻辑库
Table 标签定义了MyCat中的逻辑表
dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。
dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句。
<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://org.opencloudb/"> <!--起一个名字,作为mycat的数据库名--> <schema name="mycat001" checkSQLschema="false" sqlMaxLimit="100"> <!--一个表的名字,以id为分片依据,数据节点:d1,d2,d3,rule拆分规定//此处为默认 --> <table name="mycat_test" primaryKey="id" dataNode="d1,d2,d3" rule="auto-sharding-long" /> </schema> <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743" /> --> <!--配置数据节点,name和上面的对照,datahost和下面的对照,database为数据节点中的数据库中的真实名字--> <dataNode name="d1" dataHost="centos_1" database="db1" /> <dataNode name="d2" dataHost="centos_2" database="db2" /> <dataNode name="d3" dataHost="centos_3" database="db3" /> <!--配置datahost的信息,连接数据库的配置,name和上面的对照,因为db1和db2在一台机器上,可以配置一成台datahost--> <dataHost name="centos_1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>show slave status</heartbeat><!--配置心跳,保持状态--> <!-- can have multi write hosts --><!--配置服务器ip和数据库端口,用户名和密码--> <writeHost host="hostM1" url="192.168.80.11:3306" user="root" password="123456"> <!-- can have multi read hosts --><!--上面的writehost是写--> </writeHost> <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --> </dataHost> <dataHost name="centos_2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM2" url="192.168.80.11:3306" user="root" password="123456"> <!-- can have multi read hosts --> </writeHost> <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --> </dataHost> <dataHost name="centos_3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM3" url="192.168.80.4:3306" user="root" password="123456"> <!-- can have multi read hosts --> </writeHost> <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --> </dataHost> </mycat:schema>
2、server.xml配置
配置用户:name="schemas"和前面配置的schemas.xml中的name对应
<user name="dongrunhua"> <property name="password">123456</property> <property name="schemas">mycat001</property> <property name="readOnly">false</property> </user>
3、rule.xml配置
rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法,或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule
和function。
此配置文件可以不用修改,使用默认即可。
4、测试:
所建的表,要在schemas.xml中的schemas节点内的tables节点配置
由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。
每个datanode中保存一定数量的数据。根据id进行分片
经测试id范围为:
db1:1~5000000
db2:5000001~10000000
db3:10000001~15000000
当15000000以上的id插入时报错:
[Err] 1064 - can't find any valid datanode :mycat_test -> id -> 15000001
此时需要添加节点了。
2、mycat配置读写分离
数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置。
1、先配置MySQL的主从模式
说明:此配置为192.168.80.11的db1为主,192.168.80.4的db1为从
2、配置主服务器
第一步:配置my.cnf文件
如果在/etc文件先没有my.cnf这个文件,从/usr/share/mysql 下复制一个过来/etc/, 改一下名字即可 my-default.cnf 然后在[mysqld]下面添加:
#配置数据库 binlog-do-db=db1 binlog-ignore-db=mysql #启用二进制日志 log-bin=mysql-bin #服务器唯一ID,一般取IP最后一段 server-id=11
第二步:重启MySQL服务
service mysql restart
第三步:建立一个账户并授权slave ,在这个时候一般不会取用root用户,建立一个专用账号。
可以设置为%表示所有客户端可以连,只要用户名密码正确,也可以设置一个ip代替,加强安全。
mysql>GRANT FILE ON *.* TO 'backup'@'%' IDENTIFIED BY '123456';
mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';
刷新:FLUSH PRIVILEGES;
查看有哪些用户:
mysql>select user,host from mysql.user;
第四步:查看master的状态
mysql> show master status;
3、配置从服务器
第一步:修改my.cnf文件,唯一id
文件路径和上面一样:然后在[mysqld]段下面添加:server-id=4
第二步:配置从服务器
mysql>change master to master_host='192.168.80.11',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000003',master_log_pos=2669
注意:语句中间不要断开,master_host为主服务器的ip,master_port为端口(无引号),master_user为执行同步操作的数据库账户,在此为刚创建的backup, master_log_file为刚刚file内的值,master_log_pos为刚刚position内的值
启动从服务器的复制功能:
mysql>start slave;
检查从服务器的复制功能:
mysql>show slave status\G
查看Slave_IO_Running:yes // 此状态必须为yes
Slave_SQL_Running:yes // 此状态必须yes
注:Slave_IO及Slave_SQL进程必须正常运行,即YES状态,否则都是错误的状态(如:其中一个NO均属错误)。
注意:删除slave
stop slave; // 停止slave
reset slave all; // 删除slave
start slave; // 启动slave
在mysql主从复制时,在192.168.80.4上建一个db1作为从服务器,名字db1和192.168.80.11上的主服务器名字相同,都为db1
Mycat配置:
Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下:
配置如下:
<dataHost name="centos_1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100"> <heartbeat>show slave status</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM1" url="192.168.80.11:3306" user="root" password="123456"> <!-- can have multi read hosts --> <readHost host="hostS1" url="192.168.80.4:3306" user="root" password="123456" />
</writeHost> <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --> </dataHost>
说明:
(1)设置 balance="1"与writeType="0"
Balance参数设置:
1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。
2. balance=“1”,所有读操作都随机的发送到readHost。
3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发
WriteType参数设置:
1. writeType=“0”, 所有写操作都发送到可用的writeHost上。
2. writeType=“1”,所有写操作都随机的发送到readHost。
3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。
“readHost是从属于writeHost的,即意味着它从那个writeHost获取同步数据,因此,当它所属的writeHost宕机了,则它也不会再参与到读写分离中来,即“不工作了”,这是因为此时,它的数据已经“不可靠”了。基于这个考虑,目前mycat 1.3和1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,则需要在Mycat里配置为两个writeHost并设置banlance=1。”
(2)设置 switchType="2" 与slaveThreshold="100"
switchType 目前有三种选择:
-1:表示不自动切换
1 :默认值,自动切换
2 :基于MySQL主从同步的状态决定是否切换
“Mycat心跳检查语句配置为 show slave status ,dataHost 上定义两个新属性: switchType="2" 与slaveThreshold="100",此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。“