专栏首页程序员升级之路360 Atlas生产环境使用心得

360 Atlas生产环境使用心得

一、Atlas介绍

Atlas是360开源的一个Mysql Proxy,以下是官方介绍:

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。同时,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发者交流群,并且这些数字还在不断增加。 https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md

以下是其github代码库:https://github.com/Qihoo360/Atlas

主要功能:

1.读写分离

2.从库负载均衡

3.IP过滤

4.自动分表

5.DBA可平滑上下线DB

6.自动摘除宕机的DB

“自动分表”需要打引号,对于新表是没问题的;

如果是一张有历史数据的表需要拆分,Atlas是不会帮我们拆分的,就需要自己写工具迁移。

二、安装

1、从官网下载相应版本,我们选择的是2.2.1;

https://github.com/Qihoo360/Atlas/releases

分表的方式有2种,1是单机分表,另1种是支持跨机器分表,可以根据情况选择,我们选择的是单机分表的,即一张总表拆成多张子表,子表和总表都在一个Mysql实例上。

2、安装

因为是rpm安装,直接用rpm命令安装就可以了:

rpm -i Atlas-2.2.1.el6.x86_64.rpm

默认安装目录为 /usr/local/mysql-proxy。

启动命令

/usr/local/mysql-proxy/bin/mysql-proxyd test start

test表示哪个实例

配置文件在 usr/local/mysql-proxy/conf下,每个配置文件表示一个实例;

3、配置说明

以下是常用的配置项:

配置

说明

admin-username

后台管理员账号

admin-password

后台管理员密码

proxy-backend-addresses

Mysql实例,多项以,(逗号)分隔

pwds

密码,必须和Mysql实例的密码一样,用安装目录 bin目录下的加密程序encrypt加密

event-threads

工作线程数,对性能影响大

sql-log

SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘

proxy-address

Atlas监听的工作接口IP和端口

tables

分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项

关键参数:

proxy-backend-addresses:后端Mysql实例地址

tables:分表参数,格式:

数据库名.表名.分表字段.子表数量

举1个栗子,假如我们在做社区,社区主要功能是发帖和回帖,那主要是2张表(只是为了演示,不会把真实实际场景所有字段加上):

帖子表(posts)

字段名

类型

说明

tid

int

帖子id

title

varchar(200)

帖子标题

content

text

帖子内容

回复表(replies)

字段名

类型

说明

pid

int

回复id

tid

int

帖子id

uid

int

用户id

content

text

回复内容

create_time

datetime

插入时间

假设这些表都在数据库forums中,

如果我们要对replies进行分表,则tables这样设置

forums.replies.tid.64

上面表示对replies进行分表,分表字段为tid,即所有tid相同的回复会在同一张表,总共分64张表。

三、踩过的坑

1、Atlas不支持压缩选项,以下连接是不行的

mysql_connect($dbhost, $dbuser, $dbpw, 1, MYSQL_CLIENT_COMPRESS);

正确的写法

mysql_connect($dbhost, $dbuser, $dbpw, 1);

2. Count语句问题

分表后,count返回的结果会是针对多个表查询的多个值(count结果为0的不返回),具体示例如下(当前分表为4张):

3. 分表后,如果删掉主表,则不带分表字段的查询会报错(如下图);如果保留主表,则查询的是主表数据。

4. 分页问题

以上面举例的场景来说,如果要从回复表查询uid为123,并且tid为100-200之间的记录的第2页(Discuz里就是这样查用户的回复的),每页显示10条,按时间倒序,就有可能返回为空了;

为什么这样呢,设想这样一个场景,用户一共有40条回复,假设分布在4张表中,并且分布很均匀,每张表10条记录,因为从每张子表取偏移10-20的记录,子表返回为空了,实际是用户是有数据的,正确的做法是从每张表取出前20条记录,再合并然后进行分页。

关于这个问题,我已经在另一篇文章详细说明了,Mysql中间件360 Atlas踩坑

四、总结

1、如果你是新表,并且预见以后数据很大,可以用上Atlas来解决数据量的问题;

2、旧表的话,你还得自己写脚本导数据,核对数据;

3、如果有些分页查询的话,还需要自己重写;

4、确定你的所有场景的查询是否都有分表字段作为where,没有的话,需要自己再写工具将子表的数据同步到总表;

可以看到Atlas如果需要产品化还要做很多的事情,如果确定上面都不是问题,就大胆的用吧

本文分享自微信公众号 - 程序员升级之路(gh_1fab42db66cb),作者:刘江华

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 线上故障处理实践

    最近公司一个系统发生线上故障,系统架构为C/S的,客户端是APP;系统的功能有:联系人、短信、通话记录等,每个业务都有备份、恢复的功能,即用户可以在APP内备份...

    心平气和
  • Mysql Proxy盘点

    MySQL Fabric具有分片功能,在同一个分片内又可以含有多个数据库,并且由Fabric自动挑选一个适合的作为主数据库,部署成本较高,另外需要应用端来适配改...

    心平气和
  • 一次线上Mysql死锁分析

    这个表用来保存用户的收货地址,下单时需要选择相应的收货地址;通过查看日志平台日志,出问题的主要发生在添加地址的场景。

    心平气和
  • 深入解读Linux进程函数fork(),vfork(),execX()

    本文研究的主要是Linux进程函数fork(),vfork(),execX()的相关内容,具体介绍如下。

    砸漏
  • 洛谷P1138 第k小整数

    题目描述 现有n个正整数,n≤10000,要求出这n个正整数中的第k个最小整数(相同大小的整数只计算一次),k≤1000,正整数均小于30000。 输入输出格式...

    attack
  • K8S 之 kubeadm 安装

    Kubeadm 是一个工具,它提供了 kubeadm init 以及 kubeadm join 这两个命令作为快速创建 kubernetes 集群的最佳实践。

    YP小站
  • 3389服务器远程端口修改怎么操作

      今天在服务器端的攻击防护日志中看到3389端口被攻击了,查了一下3389是服务器远程端口,是服务器远程连接的默认端口,很多黑客都针对这个端口进行扫描,那如果...

    ytkah
  • 洛谷P3201 [HNOI2009]梦幻布丁

    题目描述 N个布丁摆成一行,进行M次操作.每次将某个颜色的布丁全部变成另一种颜色的,然后再询问当前一共有多少段颜色.例如颜色分别为1,2,2,1的四个布丁一共有...

    attack
  • 丘比特的神箭续

    本题数据量较大,如果使用 的算法将被 T 飞. 所以亟需能在 时间内判断点和凸多边形关系的算法.

    ACM算法日常
  • 一致性哈希负载均衡算法的探讨

    一致性哈希算法在很多领域有应用,例如分布式缓存领域的 MemCache,Redis,负载均衡领域的 Nginx,各类 RPC 框架。不同领域场景不同,需要顾及的...

    kirito-moe

扫码关注云+社区

领取腾讯云代金券