首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据库专题(三) ——Mysql ID生成

数据库专题(三)——Mysql ID生成器 (原创内容,转载请注明来源,谢谢) 注:本文是我对ID生成器的见解,如果有偏差欢迎指正。...一、需求 在数据库中,ID作为记录表每一行数据唯一性的重要元素,其重要性不言而喻。...在普通网站的业务场景中,可以使用数据库的自增的方式生成id,则在新增数据的时候不需要定义id,插入数据的过程中数据库自己会生成id。...但是,当网站业务量大,并发量大,如果使用数据库自增的方式,则可能会出现多个请求需要新增数据同时发送给mysql,则会发生异常。...因此,此ID生成器可以满足高并发下的生成id,且有保密性。 本文是我对ID生成器的见解,如果有偏差欢迎指正。 ——written by linhxx 2017.07.31

2.3K80
您找到你想要的搜索结果了吗?
是的
没有找到

数据库ID生成器基准测试

在说明如何基准测试之前,我想聊聊我为什么要做这个事儿,话说最近做某后台的时候需要一个 ID 生成器,我不太想用 snowflake 等复杂的解决方案,也不太想用 redis 来实现,因为我手头只有 mysql...实际上当初 flickr 就是这么干的,利用 LAST_INSERT_ID 返回最新插入的 idmysql> CREATE TABLE `Tickets64` ( `id` bigint(20)...LAST_INSERT_ID(); 不过我没有直接拷贝此方案,因为看上去它至少有两个可以优化的地方: 因为一张表只能有一个自增字段,所以一个表只能做一个独立的 id 生成器。...VALUES (0, 'global'); mysql> INSERT INTO seq (id, name) VALUES (0, 'another'); mysql> UPDATE seq SET...id = LAST_INSERT_ID(id+1) WHERE name = 'global'; mysql> SELECT LAST_INSERT_ID(); 确定了解决方案,我琢磨着得 Benchmark

39120

数据库 ID 生成方案:雪花算法

今天介绍的雪花算法:Snowflake,可以让负责生成分布式 ID 的每台机器在每毫秒内生成不一样的 ID。Snowflake 是 Twitter 开源的分布式 ID 生成算法,它不依赖数据库。...雪花算法 第1个 bit 位是标识部分,在 java 中由于 long 的最高位是符号位,正数是0,负数是1,一般生成ID 为正数,所以固定为0; 时间戳部分占41 bit,这个是毫秒级的时间,一般实现上不会存储当前的时间戳...年; 工作机器id占10 bit,这里比较灵活,比如,可以使用前5位作为数据中心机房标识,后5位作为单机房机器标识,算下来可以部署1024个节点; 序列号部分占12 bit,支持同一毫秒内同一个节点可以生成...4096个 ID 根据这个算法的逻辑,只需要将这个算法用编程语言实现出来,封装为一个工具方法,那么各个业务应用可以直接使用该工具方法来获取分布式 ID,我们只需保证每个业务应用有自己的工作机器 ID 即可...,原始的 Snowflake 算法需要人工去为每台机器指定一个机器 Id 并配置在某个地方,从而让 Snowflake 可以从此处获取机器 Id

1.3K20

数据库 ID 生成方案:号段模式

还可以使用号段的方式来获取自增 ID,号段可以理解成批量获取。比如从数据库获取 ID 时,就可以批量获取多个 ID 并缓存在本地,提升效率。...比如每次从数据库获取 ID 时,就获取一个号段,如 (1,1000],这个范围表示1000个 ID,业务应用在请求提供 ID 时,只需要在本地从1开始自增并返回,而不需要每次都取请求数据库,一直到本地自增到...对数据库表进行改动如下: CREATE TABLE Test ( id int(10) NOT NULL, current_max_id bigint(20) NOT NULL COMMENT...这种方案不再强依赖数据库,就算数据库不可用,那么系统也能继续支撑一段时间,但如果系统重启,就会丢失一段 ID,导致 ID 空洞。...为提高可用性,需要做一个集群,业务在请求集群获取 ID 时,会随机的选择某个节点进行获取,对每个节点来说,数据库连接的是同个数据库,那么就可能会产生多个节点同时请求数据库获取号段,这时就可以利用乐观锁来进行控制

2.3K40

数据库 ID 生成方案:美团 Leaf

在美团早期,有的业务直接通过 DB 自增的方式生成 ID,有的业务通过 Redis 缓存来生成 ID,也有的业务直接用 UUID 这种方式来生成 ID。...以上的方式各自有各自的问题,因此美团实现了一套分布式 ID 生成服务来满足需求。...具体 Leaf 设计文档见: Leaf 美团分布式 ID 生成服务 美团的 Leaf 也是一个分布式 ID 生成框架。它非常全面,即支持号段模式,也支持 Snowflake 模式。...Leaf 中的 Snowflake 模式和原始 Snowflake 算法的不同点,也主要在 workId 的生成,Leaf 中 workId 是基于 ZooKeeper 的顺序 Id生成的,每个应用在使用...Leaf-snowflake 时,在启动时都会在 Zookeeper中生成一个顺序 Id,相当于一台机器对应一个顺序节点,也就是一个 workId。

52710

数据库 ID 生成方案:数据库多主模式

将两个数据库组成主从模式的集群,正常情况下,是可以解决数据库的可靠性问题,但如果主库挂掉后,数据没有及时同步到从库,这个时候就会出现 ID 重复的问题。...可以使用双主模式集群,也就是两个实例都能单独的生产自增ID,这样能够提高效率,不过就需要单独给每个数据库实例配置不同的起始值和自增步长。...第一台 MySQL 实例配置: set @@auto_increment_offset = 1; -- 起始值 set @@auto_increment_increment = 2; -- 步长...步长 经过上面的配置后,这两台实例生成ID 序列如下: mysql01:起始值为1,步长为2,ID 生成的序列为:1,3,5,7,9,......mysql02:起始值为2,步长为2,ID 生成的序列为:2,4,6,8,10,... 实行这种方案后,就算其中某一台实例不能提供正常服务了,也不会完全影响整个系统。

58420

常见的ID生成策略 – IdUtil – Hutool的ID生成工具

本页目录 IdUtil案例 常见ID生成策略 UUID ❄️雪花算法(我觉得了解再多,还得是万能的雪花算法❄️) MongoDB唯一主键 Redis自增主键策略 IdUtil案例 演示了:UUID、nanoID...生成工具,就在这里统一搜集整理一些常见的ID策略 常见ID生成策略 UUID 案例:144985ec-458d-49c5-8338-ba325eca5322 特点:无序、数字与小写英文、长度36位 缺点...:无序、长度太长,超低概率可能会重复 ❄️雪花算法(我觉得了解再多,还得是万能的雪花算法❄️) 特点:纯数字、自增、每秒26万个ID、长度19 雪花算法是推特公司开源的工具:想了解前往本站:https:...一个是机器ID,另一个是数据中心ID(两个ID均是数字)。 保证线程安全,务必获取单例对象!上文案例就是单例对象,随便使用!...MongoDB唯一主键 这里是Hutool工具集成的MongoDB唯一ID生成,我才了解的。

8.3K10

ID生成策略——SnowFlake

一、遇到问题 某个项目采用了数据库MySQL)自增ID作为主要业务数据的主键。数据库自增ID使用简单,自动编号,速度快,而且是增量增长,按顺序存放,对于检索非常有利。...单库环境下,数据库自增ID问题不大。但在分布式环境或分库分表环境下,数据库自增ID逐渐暴露出一些问题。...二、常见的ID生成策略 1、数据库自增ID(前面提到了) 2、UUID 算法的核心思想是结合机器的网卡、当地时间、一个随记数来生成UUID。...优点:本地生成生成简单,性能好,没有高可用风险 缺点:长度过长,存储冗余,且无序不可读,查询效率低 3、Redis生成ID Redis生成ID可以看做数据库自增ID的升级版。...优点: 毫秒数在高位,自增序列在低位,整个ID都是趋势递增的。 不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成ID的性能也是非常高的。 可以根据自身业务特性分配bit位,非常灵活。

1.8K10

数据库 ID 生成方案:百度 UidGenerator

UidGenerator 是用 Java 语言实现的基于 Snowflake 算法的唯一 ID 生成器。...UidGenerator 是以组件形式工作在应用项目中, 支持自定义 workerId 位数和初始化策略, 从而适用于 Docker 等虚拟化环境下实例自动重启、漂移等场景。...uid-generator 中的 workId 是由 uid-generator 自动生成的,并且考虑到了应用部署在 docker 上的情况,在 uid-generator 中,用户可以自己去定义 workId...的生成策略,默认提供的策略是:应用启动时由数据库分配。...说的简单就是:应用在启动时会往数据库表 ( uid-generator 需要新增 WORKER_NODE 表)中去插入一条数据,数据插入成功后,返回的自增唯一 id 就是该机器的 workId,而数据由

1.5K10
领券