TiDB 2.1 GA Release Notes

2018 年 11 月 30 日,TiDB 发布 2.1 GA 版。相比 2.0 版本,该版本对系统稳定性、性能、兼容性、易用性做了大量改进。

TiDB

SQL 优化器

  • 优化 Index Join 选择范围,提升执行性能
  • 优化 Index Join 外表选择,使用估算的行数较少的表作为外表
  • 扩大 Join Hint TIDB_SMJ 的作用范围,在没有合适索引可用的情况下也可使用 Merge Join
  • 加强 Join Hint TIDB_INLJ 的能力,可以指定 Join 中的内表
  • 优化关联子查询,包括下推 Filter 和扩大索引选择范围,部分查询的效率有数量级的提升
  • 支持在 UPDATEDELETE 语句中使用 Index Hint 和 Join Hint
  • 支持更多函数下推:ABS/CEIL/FLOOR/IS TRUE/IS FALSE
  • 优化内建函数 IFIFNULL 的常量折叠算法
  • 优化 EXPLAIN 语句输出格式, 使用层级结构表示算子之间的上下游关系

SQL 执行引擎

  • 重构所有聚合函数,提升 StreamHash 聚合算子的执行效率
  • 实现并行 Hash Aggregate 算子,部分场景下有 350% 的性能提升
  • 实现并行 Project 算子,部分场景有 74% 的性能提升
  • 并发地读取 Hash JoinInner 表和 Outer 表的数据,提升执行性能
  • 优化 REPLACE INTO 语句的执行速度,性能提升 10x
  • 优化时间类型的内存占用,时间类型数据的内存使用降低为原来的一半
  • 优化点查的查询性能, Sysbench 点查效率提升 60%
  • TiDB 插入和更新宽表,性能提升接近 20 倍
  • 支持在配置文件中设置单个查询的内存使用上限
  • 优化 Hash Join 的执行过程,当 Join 类型为 Inner Join 或者 Semi Join 时,如果内表为空,不再读取外表数据,快速返回结果
  • 支持 EXPLAIN ANALYZE 语句,用于查看 Query 执行过程中各个算子的运行时间,返回结果行数等运行时统计信息

统计信息

  • 支持只在一天中的某个时间段开启统计信息自动 ANALYZE 的功能
  • 支持根据查询的反馈自动更新表的统计信息
  • 支持通过 ANALYZE TABLE WITH BUCKETS 语句配置直方图中桶的个数
  • 优化等值查询和范围查询混合的情况下使用直方图估算 Row Count 的算法

表达式

  • 支持内建函数:
    • json_contains  
    • json_contains_path
    • encode/decode

Server

DDL

  • 支持 Add Index 语句与其他 DDL 语句并行执行,避免耗时的 Add Index 操作阻塞其他操作
  • 优化 Add Index 的速度,在某些场景下速度大幅提升
  • 支持 select tidb_is_ddl_owner() 语句,方便判断 TiDB 是否为 DDL Owner
  • 支持 ALTER TABLE FORCE 语法
  • 支持 ALTER TABLE RENAME KEY TO 语法
  • Admin Show DDL Jobs 输出结果中添加表名、库名等信息
  • 支持使用 ddl/owner/resign HTTP 接口释放 DDL Owner 并开启新一轮 DDL Owner 选举

兼容性

  • 支持更多 MySQL 语法
  • BIT 聚合函数支持 ALL 参数
  • 支持 SHOW PRIVILEGES 语句
  • 支持 LOAD DATA 语句的 CHARACTER SET 语法
  • 支持 CREATE USER 语句的 IDENTIFIED WITH 语法
  • 支持 LOAD DATA IGNORE LINES 语句
  • Show ProcessList 语句返回更准确信息

PD

可用性优化

  • 引入 TiKV 版本控制机制,支持集群滚动兼容升级
  • PD 节点间 开启 Raft PreVote,避免网络隔离后恢复时产生的重新选举
  • 开启 raft learner 功能,降低调度时出现宕机导致数据不可用的风险
  • TSO 分配不再受系统时间回退影响
  • 支持 Region merge 功能,减少元数据带来的开销

调度器优化

  • 优化 Down Store 的处理流程,加快发生宕机后补副本的速度
  • 优化热点调度器,在流量统计信息抖动时适应性更好
  • 优化 Coordinator 的启动,减少重启 PD 时带来的不必要调度
  • 优化 Balance Scheduler 频繁调度小 Region 的问题
  • 优化 Region merge,调度时考虑 Region 中数据的行数
  • 新增一些控制调度策略的开关
  • 完善调度模拟器,添加调度场景模拟

API 及运维工具

监控

  • 增加 Filter相关的监控
  • 新增 etcd Raft 状态机相关监控

性能优化

  • 优化处理 Region heartbeat 的性能,减少 heartbeat 带来的内存开销
  • 优化 Region tree 性能
  • 优化计算热点统计的性能问题

TiKV

Coprocessor

Transaction

Raftstore

存储引擎

  • 修复 RocksDB CompactFiles 的 bug,可能影响 Lightning 导入的数据
  • 升级 RocksDB 到 v5.15,解决 snapshot 文件可能会被写坏的问题
  • 优化 IngestExternalFile,避免 flush 卡住写入的问题

tikv-ctl

Tools

升级兼容性说明

  • 由于新版本存储引擎更新,不支持在升级后回退至 2.0.x 或更旧版本
  • 新版本默认开启 raft learner 功能,如果从 1.x 版本集群升级至 2.1 版本,须停机升级或者先滚动升级 TiKV,完成后再滚动升级 PD
  • 从 2.0.6 之前的版本升级到 2.1.0 之前,最好确认集群中是否存在正在运行中的 DDL 操作,特别是耗时的 Add Index 操作
  • 因为 2.1 版本启用了并行 DDL,对于早于 2.0.1 版本的集群,无法滚动升级到 2.1,可以选择下面两种方案:
    • 停机升级,直接从早于 2.0.1 的 TiDB 版本升级到 2.1
    • 先滚动升级到 2.0.1 或者之后的 2.0.x 版本,再滚动升级到 2.1 版本

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java系列博客

pl/sql导入excel到oracle表

24370
来自专栏鸿的学习笔记

Spanner和一致性(待续)

前几天读了一篇文章[一致性模型](https://www.jianshu.com/p/3673e612cce2),发现自己也有也有一些知识点遗漏了,遂写下此文作...

16820
来自专栏信安之路

利用DNS协议回显数据

这个问题已经是去年提出的了,之前也看到过,在 CTF 题目环境中利用过却对原理不慎了解,在公司大佬们的帮助下成功了理解了一波原理。

18600
来自专栏极客慕白的成长之路

数据库系统概述必背知识点整理

14420
来自专栏杨建荣的学习笔记

关于修改分区表的准备和操作细则(r3笔记26天)

在之前的博文中,讨论过一个根据分区键值发现性能问题的案例。90%以上的数据都分布在了一个分区上,其它的分区要么没有数据要么数据很少,这是很明显的分区问题。当然这...

31760
来自专栏乐沙弥的世界

Buffer cache 的调整与优化(一)

Buffer Cache是SGA的重要组成部分,主要用于缓存数据块,其大小也直接影响系统的性能。当Buffer Cache过小的时候,将会造成更多的

12930
来自专栏数据和云

举一反三:跨平台版本迁移之 XTTS 方案操作指南

作者 | 罗贵林: 云和恩墨技术工程师,具有8年以上的 Oracle 数据库工作经验,曾任职于大型的国家电信、省级财政、省级公安的维护,性能调优等。精通 Ora...

19130
来自专栏菩提树下的杨过

mac 下卸载mysql的方法

今天在mac上瞎折腾时,把mysql玩坏了,想卸载重装,却发现找不到卸载程序,百度了下,将操作步骤备份于此: cd ~/ sudo rm /usr/local...

30970
来自专栏大数据

Python 101:如何从RottenTomatoes爬取数据

今天,我们将研究如何从热门电影网站Rotten Tomatoes爬取数据。你需要在这里注册一个API key。当你拿到key时,记下你的使用限制(如每分钟限制的...

49460
来自专栏小白安全

phpmyadmin新姿势getshell

在一个有WAF、并且mysql中的Into outfile禁用的情况下,我该如何getshell? 首先环境如下: OS:Windows 2003 ...

43460

扫码关注云+社区

领取腾讯云代金券