腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

PingCAP的专栏

专栏作者

534

文章

504162

阅读量

93

订阅数

Hackathon 实用指南丨快速给 TiDB 新增一个功能

数据库 go git linux

TiDB Hackathon 2022 火热报名中！你报名了吗（还没报名看这里）？你有 idea 了吗（没有 idea 看这里）？

2022-10-10

2080

Facebook 开源 Golang 实体框架 Ent 现已支持 TiDB

云数据库 SQL Server 数据库 sql go api

对于后端开发者来说，一款好用的框架能够大大提升应用的开发效率。为了降低开发者使用 TiDB 的门槛，方便开发者快速连接到 TiDB，我们也在和合作伙伴一起，逐步完善面向主流开发语言和框架的连接支持。

2022-03-25

7620

Dumpling 导出表内并发优化丨TiDB 工具分享

数据库 sql go 云数据库 SQL Server

Dumpling 是由 Go 语言编写的用于对数据库进行数据导出的工具。目前支持 MySQL 协议的数据库，并且针对 TiDB 的特性进行了优化。Go Dumpling! 让导出数据更稳定文章对 Dumpling 进阶使用进行了介绍。本文接下来将会介绍 Dumpling 内部表内并发的优化逻辑，从而帮助大家更深刻地理解 Dumpling 工作原理。

2022-01-05

6420

带着问题读 TiDB 源码：Power BI Desktop 以 MySQL 驱动连接 TiDB 报错

云数据库 SQL Server sql go 数据库 grep

常有人说，阅读源码是每个优秀开发工程师的必经之路，但是在面对像类似 TiDB 这样复杂的系统时，源码阅读是一个非常庞大的工程。而对一些 TiDB User 来说，从自己日常遇到的问题出发，反过来阅读源码就是一个不错的切入点，因此我们策划了《带着问题读源码》系列文章。

2021-12-02

7880

内存泄漏的定位与排查：Heap Profiling 原理解析

go 编程算法开源

系统长时间运行之后，可用内存越来越少，甚至导致了某些服务失败，这就是典型的内存泄漏问题。这类问题通常难以预测，也很难通过静态代码梳理的方式定位。Heap Profiling 就是帮助我们解决此类问题的。

2021-11-18

1.4K0

TiDB Operator 源码阅读 (四) 组件的控制循环

上篇文章中，我们介绍了 TiDB Operator 的组件生命周期管理的编排，以 TiDBCluster Controller 为例介绍 Controller Manager 的实现。TiDBCluster Controller 负责了 TiDB 主要组件的生命周期管理，TiDB 各个组件的 Member Manager 封装了对应具体的生命周期管理逻辑。在上篇文章中，我们描述了一个抽象的组件生命周期管理的实现，本文中，我们将以 PD 为例详细介绍组件生命周期管理的实现过程和相关代码，并且以 PD 的介绍为基础，介绍其他组件的部分差异。

2021-06-30

7000

TiDB Operator 源码阅读 (三) 编排组件控制循环

数据库 go kubernetes

上篇文章中，我们介绍了 TiDB Operator 的 Controller Manager 的设计和实现，了解了各个 Controller 如何接受和处理变更。在这篇文章中，我们将讨论组件的 Controller 的实现。TiDBCluster Controller 负责了 TiDB 主要组件的生命周期管理，我们将以此为例，介绍组件控制循环的编排设计。我们将会了解到完成 TiDB 集群的生命周期管理过程中，各种控制循环事件经过了怎样的编排，这些事件中又完成了哪些资源管理操作。在阅读时，大家了解这些工作的大致过程和定义即可，我们将在下一篇文章中具体介绍各个组件如何套用下面的范式。

2021-04-21

4760

TiDB Operator 源码阅读 (二) Operator 模式

kubernetes 数据库 go

在上一篇文章中我们讨论了 TiDB Operator 的应用场景，了解了 TiDB Operator 可以在 Kubernetes 集群中管理 TiDB 的生命周期。可是，TiDB Operator 的代码是怎样运行起来的？TiDB 组件的生命周期管理的逻辑又是如何编排的呢？我们将从 Operator 模式的视角，介绍 TiDB Operator 的代码实现，在这篇文章中我们主要讨论 controller-manager 的实现，介绍从代码入口到组件的生命周期事件被触发中间的过程。

2021-03-20

5250

Go Dumpling! 让导出数据更稳定

go 数据库大数据 sql

Dumpling 是由 Go 语言编写的用于对数据库进行数据导出的工具。目前支持 MySQL 协议的数据库，并且针对 TiDB 的特性进行了优化。在 Go Dumpling! 让导出数据更容易中，我们简要介绍了 Dumpling 的基本功能的使用。在本文中，我们将会介绍一些 Dumpling 的进阶使用方法，帮助大家更稳定高效地导出数据。

2021-01-04

5080

使用 go-randgen 测试 join 查询

go 腾讯云测试服务 sql 数据库编程算法

在数据库的查询中，join 是最常用的查询之一，由于 join 算法实现的复杂性，出现问题的概率较大，我们对 TiDB 中出现过的 join 问题进行分析，将易发生问题的场景归为如下几类：

2020-12-25

8430

Go Dumpling！让导出数据更容易

go 文件存储单元测试腾讯云测试服务数据库

Tools SIG Community：主要涵盖 TiDB 数据处理工具，包含 TiDB 数据备份/导入导出，TiDB 数据变更捕获，其他数据库数据迁移至 TiDB 等。

2020-09-03

7520

一位 Rust 开发者的 Go 初体验

过去几周，我一直在用 Go 语言编写程序。这是我首次在大型且重要的项目中使用 Go。在研究 Rust 的特性时，我也看了很多关于 Go 的内容，包括体验示例和编写玩具程序。但真正用它编程又是一种完全不同的体验。

2020-03-06

7720

让数据库运行在浏览器里？TiDB + WebAssembly 告诉你答案

TDSQL MySQL 版云数据库 SQL Server sql 数据库 go

希望有一个数据库能够弹性扩展（分布式）到成百上千节点的规模，易于学习和理解，可以运行在私有云、公有云、Multi-Cloud、Kubernetes，也能够跑在嵌入式设备（比如树莓派）上，更酷的是也能够直接运行在浏览器里，而且不需要任何浏览器扩展（Extension），变成「口袋数据库」，就像那部电影《蚁人》。

2019-11-05

7620

Hands-on! 如何给 TiDB 添加新系统表

sql api 数据库 go

对于一个成熟的数据库来说，通过 SQL 来查询系统本身的状态再正常不过，对于 MySQL 来说 INFOMATION_SCHEMA 和 PERFORMANCE_SCHEMA 里面有大量的信息，基本上通过查询些信息，DBA 就能对整个系统的运行状态一目了然。最棒的是，查询的接口正是 SQL，不需要依赖其他的第三方工具，运用表达力强大的 SQL 甚至可以对这些信息进行二次加工或者过滤，另外接入第三方的运维监控工具也很自然，不需要引入新的依赖。

2019-10-18

6020

十分钟成为 Contributor 系列 | 助力 TiDB 表达式计算性能提升 10 倍

express go 数据库腾讯云测试服务

最近我们扩展了 TiDB 表达式计算框架，增加了向量化计算接口，初期的性能测试显示，多数表达式计算性能可大幅提升，部分甚至可提升 1~2 个数量级。为了让所有的表达式都能受益，我们需要为所有内建函数实现向量化计算。

2019-09-17

1.1K0

TiDB Binlog 源码阅读系列文章（四）Pump server 介绍

海外加速 go api 数据库

在上篇文章中，我们介绍了 TiDB 如何通过 Pump client 将 binlog 发往 Pump，本文将继续介绍 Pump server 的实现，对应的源码主要集中在 TiDB Binlog 仓库的 pump/server.go 文件中。

2019-08-23

4920

Golang Failpoint 的设计与实现

go 网络安全自动化测试腾讯云测试服务编程算法

对于一个大型复杂的系统来说，通常包含多个模块或多个组件构成，模拟各个子系统的故障是测试中必不可少的环节，并且这些故障模拟必须做到无侵入地集成到自动化测试系统中，通过在自动化测试中自动激活这些故障点来模拟故障，并观测最终结果是否符合预期结果来判断系统的正确性和稳定性。如果在一个分布式系统中需要专门请一位同事来插拔网线来模拟网络异常，一个存储系统中需要通过破坏硬盘来模拟磁盘损坏，昂贵的测试成本会让测试成为一场灾难，并且难以模拟一些需要精细化控制的的测试。所以我们需要一些自动化的方式来进行确定性的故障测试。

2019-05-05

1.8K0

DM 源码阅读系列文章（三）数据同步处理单元介绍

本文为 DM 源码阅读系列文章的第三篇，上篇文章介绍了 DM 的整体架构，DM 组件 DM-master 和 DM-worker 的入口代码，以及两者之间的数据交互模型。本篇文章详细地介绍 DM 数据同步处理单元（DM-worker 内部用来同步数据的逻辑单元），包括数据同步处理单元实现了什么功能，数据同步流程、运行逻辑，以及数据同步处理单元的 interface 设计。

2019-04-11

5120

DM 源码阅读系列文章（二）整体架构介绍

本文为 DM 源码阅读系列文章的第二篇，第一篇文章简单介绍了 DM 源码阅读的目的和规划，以及 DM 的源码结构以及工具链。从本篇文章开始，我们会正式开始阅读 DM 的源码。

2019-03-26

7300

DM 源码阅读系列文章（一）序

云数据库 SQL Server go rpc 数据库 sql

TiDB-DM 是由 PingCAP 开发的一体化数据同步任务管理平台，支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步，在 TiDB DevCon 2019 正式开源。作为一款连接 MySQL/MariaDB 生态和 TiDB 生态的中台类型产品，DM 获得了广泛的关注，很多公司、开发者和社区的伙伴已经在使用 DM 来进行数据迁移和管理。随着大家使用的广泛和深入，遇到了不少由于对 DM 原理不理解而错误使用的情况，也发现了一些 DM 支持并不完善的场景和很多可以改进的地方。

2019-03-20

7110

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态