腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

PingCAP的专栏

专栏作者

534

文章

501182

阅读量

93

订阅数

TiCDC 源码阅读（二）TiKV CDC 模块介绍

数据库 rpc javascript node.js 数据结构

TiCDC 是一款 TiDB 增量数据同步工具，通过拉取上游 TiKV 的数据变更日志，TiCDC 可以将数据解析为有序的行级变更数据输出到下游。

2023-01-04

4930

TPC TiKV：Hackathon 中最硬核项目是如何炼成的？| TPC 战队访谈

raft 数据库 sql javascript node.js

数据库调优可以使数据库应用运行得更快，但对于很多人来说，对数据库内核进行调优是一项很有挑战的“技术活”，是只属于少部分内核研发们的“游戏”。但即使是他们，对数据库内核进行性能调优，也充满了不确定性，它需要综合考虑各种复杂因素，如硬件层面的 CPU、 I/O、内存和网络，以及软件层面关于操作系统、中间件、数据库参数等配置，还有运行在数据库上的各种查询和命令等。在本次 Hackathon 2021 比赛中，TPC 战队就完成了这一项“挑战”，采用 bottom-up 的设计思路，更好地利用硬件资源，使用 TPC (thread-per-core) 线程模型优化了 TiKV 的写入性能、性能稳定性和自适应能力。TPC 战队也凭借这一硬核项目一举斩获了三等奖与技术潜力奖。

2022-03-16

4100

事务前沿研究丨确定性事务

数据库 TDSQL MySQL 版 sql 批量计算 node.js

在基于 Percolator 提交协议的分布式数据库被提出的时期，学术研究上还出现了一种叫确定性数据库的技术，在这项技术的发展过程中也出现了各种流派。本文将讲解学术上不同的确定性事务和特点，并综合说说他们的优点和面临的问题。

2021-07-16

4460

Async Commit 原理介绍

node.js javascript 数据库 unix 分布式

TiDB 提供了原生的分布式事务支持，实现低延迟的分布式事务是持续的优化方向。TiDB 5.0 引入的 Async Commit 特性大大改善了事务提交的延迟，这一特性主要由本文作者陈奕霖(sticnarf)，以及赵磊(youjiali1995)，Nick Cameron(nrc) 和周振靖(MyonKeminta)实现。

2021-04-30

7490

TiKV + SPDK，探索存储的性能极限

缓存 sql node.js 数据库 linux

近日，由 TiDB 社区主办，专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办，参赛队伍规模创历届之最，共有 45 支来自全球各地的队伍报名，首次实现全球联动。经过 2 天时间的极限挑战，大赛涌现出不少令人激动的项目。

2021-03-10

6640

Linux 内核 VS 内存碎片（上）

（外部）内存碎片是一个历史悠久的 Linux 内核编程问题，随着系统的运行，页面被分配给各种任务，随着时间的推移内存会逐步碎片化，最终正常运行时间较长的繁忙系统可能只有很少的物理页面是连续的。由于 Linux 内核支持虚拟内存管理，物理内存碎片通常不是问题，因为在页表的帮助下，物理上分散的内存在虚拟地址空间仍然是连续的（除非使用大页），但对于需要从内核线性映射区分配连续物理内存的需求来说就会变的非常困难，比如通过块分配器分配结构体对象（在内核态很常见且频繁的操作），或对不支持 scatter/gather 模式的 DMA 缓冲器的操作等，会引起频繁的直接内存回收/规整，导致系统性能出现较大的波动，或分配失败（在慢速内存分配路径会根据页面分配标志位执行不同的操作）。

2020-12-11

3.4K0

Chaos Mesh® 技术内幕 | 如何注入 I/O 故障？

网络安全容器 jenkins node.js

在生产环境中，时常会因为磁盘故障、误操作等原因出现文件系统的错误。Chaos Mesh 很早就提供了注入文件系统错误的能力。用户只需要添加一个 IOChaos 资源，就能够让对指定文件的文件系统操作失败或返回错误的数据。在 Chaos Mesh 1.0 之前，使用 IOChaos 需要对 Pod 注入 sidecar 容器，并且需要改写启动命令；哪怕没有注入错误，被注入 sidecar 的容器也总是有较大的性能开销。随着 Chaos Mesh 1.0 的发布，提供了运行时注入文件系统错误的功能，使得 IOChaos 的使用和其他所有类型的 Chaos 一样简单方便。这篇文章将会介绍它的实现方式。

2020-12-02

1.1K0

TiKV Rust Client 迁移记 - Futures 0.1 至 0.3

编程算法 javascript node.js

最近我将一个中小型的 crate 从 futures 库的 0.1 迁移至了 0.3 版本。过程本身不是特别麻烦，但还是有些地方或是微妙棘手，或是没有很好的文档说明。这篇文章里，我会把迁移经验总结分享给大家。

2019-09-27

4620

TiDB 高并发写入常见热点问题及规避方法

数据库 node.js 压力测试

本文通过阐述一个高并发批量写入数据到 TiDB 的典型场景中，TiDB 中常见的问题，给出一个业务的最佳实践，避免业务在开发的时候陷入 TiDB 使用的 “反模式”。

2019-09-06

1.3K0

TiKV 源码解析系列文章（九）Service 层处理流程解析

rpc node.js api

之前的 TiKV 源码解析系列文章介绍了 TiKV 依赖的周边库，从本篇文章开始，我们将开始介绍 TiKV 自身的代码。本文重点介绍 TiKV 最外面的一层——Service 层。

2019-07-08

6940

TiKV 源码解析系列文章（八）grpc-rs 的封装与实现

rpc 批量计算 javascript node.js

上一篇《gRPC Server 的初始化和启动流程》为大家介绍了 gRPC Server 的初始化和启动流程，本篇将带大家深入到 grpc-rs 这个库里，查看 RPC 请求是如何被封装和派发的，以及它是怎么和 Rust Future 进行结合的。

2019-06-13

8730

优秀的数据工程师，怎么用 Spark 在 TiDB 上做 OLAP 分析

spark kafka yarn node.js 数据库

原文链接：优秀的数据工程师，怎么用 Spark 在 TiDB 上做 OLAP 分析

2019-02-28

9050

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态