Tokudb安装测试初探

一 前言

TokuDB 是一个高性能、支持MVCC的MySQL 和 MariaDB 的存储引擎。TokuDB 的主要特点是数据压缩功能出色,对高写压力的支持,由美国TokuTek公司(http://www.tokutek.com/) 研发,该公司于2015年4月份被Percona收购,理所当然地提供了TokuDB版本的Percona Server。本文使用Peronca server 5.6.30 版本进行测试安装。

二 安装前的准备

请参考官方文档 Percona Server YUM源 ,Percona Server tokudb安装文档

三 安装步骤

3.1 关闭系统的大页

echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

3.2 禁用SELINUX

root@rac2:~# >vim /etc/selinux/config 设置SELINUX=disabled root@rac2:~# >setenforce 0 root@rac2:~# >getenforce

3.3 利用percona 的yum 源进行安装

yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

yum list | grep percona #检查yum源里面是否有 tokudb相关的rpm包

yum install Percona-Server-tokudb-56.x86_64 -y

3.4 初始化数据库实例并启动数据库

/usr/bin/mysql_install_db --user=mysql --datadir=/srv/my3306/data --basedir=/usr/ --defaults-file=/srv/my3306/my.cnf & /usr/bin/mysqld_safe --defaults-file=/srv/my3306/my.cnf --user=mysql &

3.5 使用ps_tokudb_admin安装tokudb 存储引擎 ,记得实例必须是启动状态的。

root@rac2:/srv/my3306/data# >ps_tokudb_admin --enable -uroot -h127.0.0.1 -P 3306 Checking SELinux status... INFO: SELinux is in permissive mode. Checking if Percona Server is running with jemalloc enabled... INFO: Percona Server is running with jemalloc enabled. Checking transparent huge pages status on the system... INFO: Transparent huge pages are currently disabled on the system. Checking if thp-setting=never option is already set in config file... INFO: Option thp-setting=never is not set in the config file. (needed only if THP is not disabled permanently on the system) Checking TokuDB engine plugin status... INFO: TokuDB engine plugin is not installed. Adding thp-setting=never option into /etc/my.cnf INFO: Successfully added thp-setting=never option into /etc/my.cnf Installing TokuDB engine... INFO: Successfully installed TokuDB engine plugin. --> 说明Tokudb 存储引擎插件安装成功

3.6 登陆实例进行检查

root@rac2:/srv/my3306/data# >my 3306 Server version: 5.6.31-77.0-log Percona Server (GPL), Release 77.0, Revision 5c1061c mysql> show engines; +---------+---------+--------------------------------------------------------------+--------------+------+------------+ | Engine | Support | Comment | Transactions | XA | Savepoints +---------+---------+--------------------------------------------------------------+--------------+------+------------+ | TokuDB | YES | Percona TokuDB Storage Engine with Fractal Tree(tm) Technology| YES | YES | YES | +---------+---------+---------------------------------------------------------------+-------------+------+------------+ 10 rows in set (0.02 sec) mysql> SELECT @@tokudb_version; +------------------+ | @@tokudb_version | +------------------+ | 5.6.31-77.0 | +------------------+ 1 row in set (0.00 sec)

四 测试

4.1 压缩比例

创建innodb 和tokudb存储引擎的表,测试插入 和文件大小。

mysql> create table t_tokudb (id int,val varchar(256)) engine=tokudb default charset utf8; Query OK, 0 rows affected (0.05 sec) mysql> insert into t_tokudb(val) select val from t_tokudb; Query OK, 262144 rows affected (2.32 sec) Records: 262144 Duplicates: 0 Warnings: 0 mysql> CREATE TABLE `t_innodb` ( -> `id` int(11) DEFAULT NULL, -> `val` varchar(256) DEFAULT NULL -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8; Query OK, 0 rows affected (0.13 sec) mysql> insert into t_innodb select * from t_tokudb; Query OK, 1048576 rows affected (10.40 sec) Records: 1048576 Duplicates: 0 Warnings: 0

查看innodb 表和tokudb 表的大小

root@rac2:/srv/my3306/data# >du -sm _yang_t_tokudb_main_5_2_1d.tokudb 8 _yang_t_tokudb_main_5_2_1d.tokudb root@rac2:/srv/my3306/data/yang# >du -sm t_innodb.ibd 149 t_innodb.ibd root@rac2:/srv/my3306/data/yang# > innodb 149M tokudb 8M

压缩比达到惊人的 149/8 = 18:1. 因为测试例子中val 的值都是相同的,生产环境中val值不相同的会比较多,压缩比会有所减小。

4.2 存储引擎转换

mysql> show create table t1 \G *************************** 1. row *************************** Table: t1 Create Table: CREATE TABLE `t1` ( `id` int(10) NOT NULL AUTO_INCREMENT, `val` varchar(10) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 1 row in set (0.01 sec) mysql> alter table t1 engine=tokudb; Query OK, 4 rows affected (0.25 sec) Records: 4 Duplicates: 0 Warnings: 0

4.3 online ddl 测试

mysql> alter table t_tokudb add name varchar(30) default 'a'; Query OK, 0 rows affected (0.06 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> alter table t_tokudb add key idx_a(name); Query OK, 0 rows affected (4.79 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> alter table t_tokudb drop key idx_a; Query OK, 0 rows affected (0.57 sec) Records: 0 Duplicates: 0 Warnings: 0

五 TokuDB 总结

TokuDB特点

1 高压缩比,默认使用zlib进行压缩,尤其是对字符串(varchar,text等)类型有非常高的压缩比,比较适合存储日志、原始数据等。一般有5-10倍压缩比。

2 支持在线字段增加、删除、扩展、重命名操作。

3 支持完整的ACID特性和事务机制

4 支持快速的写入场景,Fractal-tree在事务实现上有优势,无undo log

TokuDB缺点

1 响应时间相对较长

2 online ddl 对text,blob等类型的字段不适用

3 没有完善的热备工具,目前有阿里云数据库团队推荐的备份方案和逻辑备份

建议适用场景:

1 访问频率不高的数据或历史数据归档

2 表非常大并且时不时还需要进行ddl操作

TokuDB的压缩算法如何选择

tokudb_zlib:表启用zlib压缩,压缩效果偏中,CPU消耗偏中,建议使用(默认);

tokudb_quicklz:表启用quicklz压缩,压缩效果差,CPU消耗低;

tokudb_lzma:表启用lzma压缩,压缩效果好,CPU消耗高。

TokuDB默认压缩算法为zlib,建议您不要做修改,因为zlib压缩的性价比非常高。

六 参考资料

[1] Percona Server tokudb安装文档

[2] Percona Server TokuDB 官方手册

[3] TokuDB索引结构--Fractal Tree

[4] TokuDB 引擎

原文发表时间:2018-01-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据和云

专家出诊:SQL Server 高CPU系列之索引诊断

作者题记:CPU高使用率往往会导致SQL Server服务响应缓慢,查询超时,甚至服务挂起僵死,可以说CPU高使用率是数据库这种后台进程服务的第一大杀手。引发C...

46940
来自专栏chenssy

在一个千万级的数据库查寻中,如何提高查询效率?

1、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 orderby 涉及的列上建立索引;

15420
来自专栏Java帮帮-微信公众号-技术文章全总结

Java开发Struts2案例代码

一、struts2综合案例 1、建立一个JavaWeb应用 ? 2、拷贝一下内容到您应用中:美工MM给你准备好的 ? 3、搭建Struts2的开发环境 a、拷贝...

36560
来自专栏企鹅号快讯

带你认识一下mysql中数据库information

information_schema 大家在安装或使用MYSQL时,会发现除了自己安装的数据库以外,还有一个information_schema数据库。 inf...

22580
来自专栏企鹅号快讯

从商用到开源:15个维度,全面剖析DB2与MySQL数据库的差异

编辑手记 MySQL是目前最流行的开源数据库,由于其部署方便,运维简单,被广泛用于互联网的各个领域。随着整体IT架构的变更,传统的金融,电信业务,也逐渐走上从商...

24790
来自专栏沃趣科技

MVCC原理探究及MySQL源码实现分析

目录预览 数据库多版本读场景 MVCC实现原理 1、通过DB_ROLL_PT 回溯查找数据历史版本 2、通过read view判断行...

66780
来自专栏杨建荣的学习笔记

浅谈exp/imp(下) (r5笔记第84天)

相关链接:浅谈exp/imp(上) (r5笔记第81天) 你可能 不了解的dump文件 在工作中,dump文件对于dba而言是再平常不过的文件了。不过因为dum...

33390
来自专栏逸鹏说道

SQL Server 执行计划缓存

概述 了解执行计划对数据库性能分析很重要,其中涉及到了语句性能分析与存储,这也是写这篇文章的目的,在了解执行计划之前先要了解一些基础知识,所以文章前面会讲一些...

41790
来自专栏杨建荣的学习笔记

迁移式升级的测试(三)(r10笔记第36天)

还是继续昨天的任务。 前面的内容可以参见:迁移式升级的一点思考 (r10笔记第27天)、迁移式升级的新方案测试 (r10笔记第30天)、迁移式升级的测试(二)(...

36250
来自专栏深度学习之tensorflow实战篇

SQL:将查询结果插入到另一个表的三种情况

SQL:将查询结果插入到另一个表的三种情况 一:如果要插入目标表不存在: select * into 目标表 from 表 where … 二:如果要插入目标表...

35760

扫码关注云+社区

领取腾讯云代金券