yum localinstall Percona-Server-client-57-5.7.18-15.1.el6.x86_64.rpm Percona-Server-shared-57-5.7.18-15.1.el6.x86_64.rpm Percona-Server-server-57-5.7.18-15.1.el6.x86_64.rpm Percona-Server-tokudb-57-5.7.18-15.1.el6.x86_64.rpm
MySQL中的存储引擎是插件式的,当然主流默认的是InnoDB,而且InnoDB存储引擎会随着MySQL官方的搭理投入会越来越火。有了MGR,还有InnoDB Cluster,其实听起来很炫彩,本质上InnoDB Cluster就是三大件(MySQL Shell,MySQL Router,MGR) 一直以来留给其他数据库的空间相对来说很小,比如MyISAM会在MySQL 8.0版本退出历史舞台,memory存储引擎也会逐步被替代,还有些存储引擎,自身发展的过程中也被革命掉了,比如falcon,还有些存储引擎
TokuDB 是一个高性能、支持MVCC的MySQL 和 MariaDB 的存储引擎。TokuDB 的主要特点是数据压缩功能出色,对高写压力的支持,由美国TokuTek公司(http://www.tokutek.com/) 研发,该公司于2015年4月份被Percona收购,理所当然地提供了TokuDB版本的Percona Server。本文使用Peronca server 5.6.30 版本进行测试安装。
由分形树索引支持的PerconaTokuDB®是一款开源的,用于Percona Server的高性能存储引擎,可提高可扩展性和运行效率。专为满足大数据应用的苛刻要求而设计,Percona TokuDB降低了与压缩和优化工作相关的部署成本。Percona TokuDB和Percona HotBackup包含在下面的Percona Server for MySQL 下载链接中。
这一期的数据库测评报告让咱们一起来讨论下数据压缩这一话题。
https://github.com/xelabs/tokudb-xtrabackup/wiki/How-to-build
该文章主要从多个方面介绍了TokuDB的写入性能和存储压缩比,包括使用TokuDB存储引擎的MySQL数据库、压测工具、不同压缩算法、不同配置文件以及不同线程数等多个方面。通过对比测试,得出了在大多数情况下,TokuDB的写入性能和存储压缩比都优于InnoDB。同时,也指出了TokuDB在成熟度方面还有待提高,需要持续关注其后续进展。
业务不断地在增长,集群分片中的数据也会随着时间的推移而增加,其中有相当一部分的数据是很少被使用的,例如几年前的订单记录、交易记录、商品评论等数据。这部分数据就称之为冷数据,与之相反经常被使用的数据则称之为热数据。
下载tokudb地址:https://share.weiyun.com/85VzMF0i
线上的MySQL实例在使用时间长了之后,会保存很多的业务数据,通常情况下,磁盘使用量也会随着业务的接入时间上升。
一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。
从官网下载了最新的包 Percona-Server-server-56-5.6.43-rel84.3.el7.x86_64.rpm ,安装后发现errlog里面打了一大堆的TRACE日志。类似如下:
一、测试背景: TokuDB一直被传说有着较高压缩比、较高insert性能、以及在线添加索引和字段速度较快等等优点,对此进行了相关的调研,针对压缩比、写入性能以及DDL速率进行了相关测试;根据相关资料以及测试报告得出相关结论,了解实用场景以及对应优势。 二、测试环境: CPU:Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz * 32 内存:128G 操作系统:CentOS release 6.6 Mysql版本:5.6 Mysql版本:5.5 Tokudb版本:7.5.1
此前我最后一次编译 MySQL 源码大概 10 年前了,再后来有人问我怎么编译源码安装,我一般都是建议直接下载二进制包安装,其实真挺方便的,性能上的损失也是微乎其微。
Percona 在12月21日 发布对Percona Server 8.0 GA版本。
随着数据量越来越大,越来越频繁的遇到需要进行结构拆分的情况,每一次拆分都耗时很久,并且需要多方配合,非常的不想搞这个事情。于是在@zolker的提醒下想到了13年开源tokuDB,来解决我们迫在眉睫的容量问题。 坊间流传tokuDB有如下几个看着令人垂涎欲滴的特点,正好符合我们实际环境的需求,故针对每个特点进行了针对性测试: 1、高压缩比,官方宣称可以达到1:12。 2、高insert性能,官方称至少比innodb高9倍。 3、可以在线添加索引和字段,速度快。 ---- (前提:
------------------------------------------分割线------------------------------------------
MariaDB 有几十种存储引擎,但并不一定都是最佳。官网有简单针对各种用于,建议使用不同的引擎。大概如下:
在CentOS8下搭建PXC集群一文中,介绍了如何搭建Percona Server集群。实际上PXC的安装包已经捆绑了Percona Server,所以在安装时会屏蔽Percona Server的一些细节。但有时候可能会单独用到Percona Server,所以本文单独介绍一下Percona Server的安装。需要注意的是:Percona Server只支持Linux系统,不能安装在其他操作系统上。
最近在看看MariaDB的官网上介绍MariaDB的功能和特性,大致罗列了本人觉得有必要了解下的几个地方:
1. 背景信息1. 测试环境2. 进行测试2.1 所有数据可以加载到buffer pool中2.1.1 数据压缩率2.1.2 TPS相差值2.1.3 平均延迟差值 avg Latency (ms)2.1.4 99%延迟差值 99th percentile Latency (ms)2.2 数据量超过内存ibp容量2.2.1 数据压缩率2.2.2 TPS相差值2.2.3 平均延迟差值 avg Latency (ms)2.2.4 99%延迟差值 99th percentile Latency (ms)3. 总结延伸阅读
上一节内容,我们讲解了 Prometheus+Grafana 监控 MySQL,我们应该发现了,这种方案部署比较繁琐,并且监控项较少,这一节内容,我们就来聊聊另外一种 MySQL 监控方案:PMM(Percona Monitoring and Management )。
vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力,底层存储采用 MySQL 数据库进行数据存储。
这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL数据库对象与应用”中的MySQL数据类型相关笔记。
Guest Video 温馨提示 本视频时长45分56秒,建议在wifi下观看 5月13日,DBGeek数据库技术沙龙又飞到了北京,本期围绕Oracle、MySQL、PostgreSQL进行技术分享。
RadonDB在DTCC大会主会场宣布开源了, 一个期待已久的产品终于走进了开源社区。 感谢青云领导层的对技术贡献的情怀。
数据库存储引擎是数据库底层软件组织,数据库管理系统(DBMS)使用数据引擎进行创建、查询、更 新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能,使用不同的存储引 擎,还可以 获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。存储引擎主 要有: 1. MyIsam , 2. InnoDB, 3. Memory, 4. Archive, 5. Federated 。
本文是左耳耗子推荐的Medium上的一篇关于MySQL的文章Some study on database storage internals,本人觉得文章十分好,就取得了作者的许可,自行进行了翻译,原文链接见文末。
1、Xenon 介绍2、架构环境说明3、MySQL 安装准备3.1、MySQL 主从复制搭建3.2、MySQL 半同步复制配置3.3、系统配置3.4、配置 hosts 解析3.5、各节点配置 ssh 互信3.5.1、150 配置3.5.1、151 配置3.5.1、152 配置4、xenon 配置准备4.1、配置 golang 环境4.2、安装xtrabackup4.3、安装 xenon4.4、配置xenon4.5、开启 xenon 并配置集群5、检验 xenon 环境5.1、检测 VIP 切换5.2、数据库重建5.2.1、模拟删除主库数据目录5.2.2、进行数据库重建
Percona 在10月31日 发布对Percona Server 8.0 RC版本。
最近生产环境一套数据库因为疯狂写日志数据,造成主键值溢出的情况出现,因此有必要将这个指标监控起来。
最近群里一些小伙伴总是问各种生态工具的问题,这里简单做个总结 (主要以开源工具为主,不包括商业产品)。
21 世纪的第二个 10 年,虎哥已经在存储引擎一线奋战近 10 年,由于强大的兴趣驱动,这么多年来几乎不放过 arXiv 上与存储相关的每一篇 paper。尤其是看到带有 draft 的 paper 时,有一种乞丐听到“叮当”响时的愉悦。看paper这玩意就像鉴宝,多数是“赝品”,需要你有“鉴真”的本领,否则今天是张三的算法超越xx,明儿又是王二的硬件提升了yy,让你永远跟不上节奏zz,湮灭在这些没有营养的技术垃圾中,浪费大好青春。
我们日常做一些MySQL测试的时候,经常要造数据,通常就写个循环插入数据的存储过程。前两天碰巧看文章说,mysql_random_data_load程序能向MySQL随机插入大量数据,于是了解一下。
这条命令在其他环境执行几秒钟就返回了,在这个机器上执行了将近1分钟,最后定位到是几个日志文件,直接删除即可。
应应用需求,设计搭建了一套带tokudb存储引擎的percona数据库,使用的是常见的双主架构。具体的架构如下图所示:
随着项目用户量的快速增长,前期可能由于应用程序设计、数据库设计及架构不当,大多项目会在用户量百万、日志/流水等表过千万、乃至过亿时,出现写入卡顿、查询缓慢、各种业务瘫痪的场景。
roc,腾讯高级工程师,Kubernetes Contributor,热爱开源,专注云原生领域。目前主要负责腾讯云TKE 的售中、售后的技术支持,根据客户需求输出合理技术方案与最佳实践,为客户业务保驾护航。
领取专属 10元无门槛券
手把手带您无忧上云