首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

生成全局唯一ID的3个思路,来自一个资深架构师的总结

标识(ID / Identifier)是无处不在的,生成标识的主体是人,那么它就是一个命名过程,如果是计算机,那么它就是一个生成过程。...在人想出标识的那一刻,是无法判断是否是唯一的,对这种生成方式的结果,显然在录入时都需要进行唯一性校验。所以,下面描述的几种生成方式,是在生成的那一刻就在一个命名空间内唯一,而不再需要进行唯一性校验。...思路三:划分命名空间并行生成 似乎对于分布式的ID生成,以TwitterSnowflake为代表的, Flake 系列算法,经常可以被搜索引擎找到,但似乎MongoDB的ObjectId算法,更早地采用了这种思路...Process ID ? 4. COUNTER ? 此处需要注意的是MongoDB的 NEXT_COUNTER 其初始值是一个随机数,这是有利于分库分表的。...它的特点是,除了使用Go语言进行了实现,更是把ID生成做成了一个网络服务。支持客户端向ID生成服务申请ID。

2.5K60
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    分布式 ID 生成器 一个唯一 ID 在一个分布式系统中是非常重要的一个业务属性,其中包括一些如订单 ID,消息 ID ,会话 ID,他们都有一些共有的特性:...

    分布式 ID 生成器 一个唯一 ID 在一个分布式系统中是非常重要的一个业务属性,其中包括一些如订单 ID,消息 ID ,会话 ID,他们都有一些共有的特性: 全局唯一。 趋势递增。...通常有以下几种方案: 基于数据库 可以利用 MySQL 中的自增属性 auto_increment 来生成全局唯一 ID,也能保证趋势递增。...本地 UUID 生成 还可以采用 UUID 的方式生成唯一 ID,由于是在本地生成没有了网络之类的消耗,所有效率非常高。 但也有以下几个问题: 生成的 ID 是无序性的,不能做到趋势递增。...采用本地时间 这种做法非常简单,可以利用本地的毫秒数加上一些业务 ID 来生成唯一ID,这样可以做到趋势递增,并且是在本地生成效率也很高。...但有一个致命的缺点:当并发量足够高的时候唯一性就不能保证了。 Twitter 雪花算法 可以基于 Twitter 的 Snowflake 算法来实现。

    1.3K20

    MongoDB基础之BSON数据类型

    在一个集合中,每个文档都有唯一的“_id”值,来确保集合里面每个文档都能被唯一标识。此唯一是在一个集合中保证全局唯一的。 ObjectId是“_id”的默认类型。...它设计成轻量型,不同的机器都能用全局唯一的同种方法方便地生成它。这是MongoDB采用这种类型的主要原因。 如果插入文档的时候没有“_id”键,系统会自动创建一个。...通常会将自动生成_id放在客户端让驱动程序来完成,理由如下: 1.ObjectId的生成是有开销的,在客户端生成可以减少数据库扩展的负担。...在复制中,操作日志具有一个ts字段。该字段中的值反映了使用BSON时间戳值的操作时间。 注意时间戳类型只是在MongoDB内部使用。开发过程中使用的是日期类型。...二、类型之间的比较和排序 比较不同BSON类型的值时,MongoDB使用以下比较顺序,从最低到最高: MinKey(内部类型)、Null、数字(整数,整数,双精度数,小数)、符号,字符串、Object、

    9.4K30

    MongoDB Document

    这些操作会对字段重排序 对于写入操作,MongoDB会保留Document字段写入的顺序,但是_id字段总是会作为Document的第一个字段,对于字段的重命名也会导致Document字段的重新排序。..._id Field MongoDB中,每一个Document必须要存储一个唯一的_id作为主键,如果代码中没有写入这个值,MongoDB会自动生成一个ObjectId进行写入。...MongoDB会在创建集合时对_id字段创建唯一索引。...对于_id字段通常会有以下建议: 使用ObjectId 如果可以,可以使用数据中唯一的字段来充当_id,这样可以节省存储空间和避免额外的索引 使用自增长的数字 如果使用UUID,可以将UUID转换为BinData...Binary Data binData类型的数据都有一个subtype用来表示如何解释此二进制数据,如下图: ObjectId ObjectId具有小,尽可能的唯一,快速生成且有序的特点,长度为12

    12210

    MongoDB基础之BSON数据类型

    在一个集合中,每个文档都有唯一的“_id”值,来确保集合里面每个文档都能被唯一标识。此唯一是在一个集合中保证全局唯一的。 ObjectId是“_id”的默认类型。...它设计成轻量型,不同的机器都能用全局唯一的同种方法方便地生成它。这是MongoDB采用这种类型的主要原因。 如果插入文档的时候没有“_id”键,系统会自动创建一个。...通常会将自动生成_id放在客户端让驱动程序来完成,理由如下: 1.ObjectId的生成是有开销的,在客户端生成可以减少数据库扩展的负担。...在复制中,操作日志具有一个ts字段。该字段中的值反映了使用BSON时间戳值的操作时间。 注意时间戳类型只是在MongoDB内部使用。开发过程中使用的是日期类型。...二、类型之间的比较和排序 比较不同BSON类型的值时,MongoDB使用以下比较顺序,从最低到最高: MinKey(内部类型)、Null、数字(整数,整数,双精度数,小数)、符号,字符串、Object、

    4.2K10

    MongoDB(5)- Document 文档相关

    类型的值 字段名 首先必须是字符串,除此之外还有以下限制 字段名不能包含 null 字符 字段名为_id 保留用作主键 它的值在集合中必须是唯一的,是不可变的 并且可以是数组以外的任何类型 最高一级的字段名不能包含...$ 字符 不过,从 MongoDB 3.6 开始,允许存储包含 ...._id 字段永远都是第一个字段 重命名字段名的更新可能会导致文档中字段的重新排序 _id 字段 在 MongoDB 中,存储在集合中的每个文档都需要一个唯一的 _id 字段作为主键 如果新插入的文档没有指定..._id 字段,那么 MongoDB 会自动为它生成一个 ObjectID(上面的截图其实也能看到) 第二条同样适用通过 upsert:true 的更新操作(后续再讲) 存储 _id 值的常用选项 使用...ObjectId 使用自然唯一标识符(如果可用),这样可以节省空间并避免额外的索引 生成一个自动递增的数字 在应用程序代码中生成 UUID,为了更有效地存储集合和索引中的UUID值,将 UUID 存储为

    1.4K20

    MongoDB索引使用总结

    比如用户建一个普通的表,默认会带一个_id 索引,会产生俩个文件,一个文件存放数据,一个存放_id 索引,这俩个文件通过 RecordId 来连接,用户每插入一条数据,mongo 会生成一条与之对应的自增的...下面通过常用的字符串以及数字类型来举例说明, 如一条文档{a:"abcd"} ,索引为{a:1}, 生成的 keystring 为: 各个字段的含义为: 类型为 60,表示 string 类型; 值为...a 字段为唯一索引, 从上根据_id 做 hash 然后并发回放时 一个线程回放 insert {_id:1, a:1}和 remove {_id:1},另外一个回放 insert {_id:2, a:...我们可以在 MongoDB 中可以通过使用 project 来选择需要返回的字段,保证所需字段在 project 条件内,特别注意 MongoDB 默认_id 字段是需要返回的,如果确定不需要_id 字段.../修改/删除都不可避免的对多余的索引进行操作,这种情况应当及时清理多余的索引; 如果业务刚好需要建立一个唯一索引,那么可以考虑使用_id 索引,从上面的分析可知,_id 索引可认为是一个 MongoDB

    85713

    基于分布式系统的7种唯一ID实现方案,值得收藏

    概述 系统唯一ID是我们在设计一个系统的时候常常会遇见的问题,也常常为这个问题而纠结。生成ID的方法有很多,适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。...---- 分布式ID的特性 唯一性:确保生成的ID是全网唯一的。 有序递增性:确保生成的ID是对于某个用户或者业务是按一定的数字有序递增的。 高可用性:确保任何时候都能正确的生成ID。...带时间:ID里面包含时间,一眼扫过去就知道哪天的交易。 下面介绍几种分布式ID的生成方案。 ---- 1、数据库自增长序列或字段 最常见的方式。利用数据库,全数据库唯一。...可以每天在Redis中生成一个Key,使用INCR进行累加。 优点: 1)不依赖于数据库,灵活方便,且性能优于数据库。 2)数字ID天然排序,对分页或者需要排序的结果很有帮助。...MongoDB 中我们经常会接触到一个自动生成的字段:"_id",类型为ObjectId。 之前我们使用MySQL等关系型数据库时,主键都是设置成自增的。

    1.5K30

    mongodb11天之屠龙宝刀(三)基本操作:增删改查与mysql对比

    在一个集合里面,每个文档都有唯一的”_id” 值,来确保集合里面每个文档都能被唯一标识。...ObjectId   ObjectId 是”_id” 的默认类型。它设计成轻量型的,不同的机器都能用全局唯一的同种方法方便地生成它。...另外,中间的几位数字也会变化(要是在创建的过程中停顿几秒钟)。这是ObjectId 的创建方式导致的。12 字节按照如下方式生成: ?   接下来的3 字节是所在主机的唯一标识符。...自动生成_id 如果插入文档的时候没有”_id” 键,系统会自动帮你创建一个,如果创建过程中存在字段:”_id”则不会在帮你创建了。通常会在客户端由驱动程序完成。理由如下。   ...3.对于系统默认生成_id的检索方式 _id是mongodb自动生成的id,其类型为ObjectId,所以如果需要在python中通过_id查询,就需要转换类型 ?

    62130

    mongodb11天之屠龙宝刀(三)基本操作:增删改查与mysql对比

    这个键的值可以是任何类型的,默认是个ObjectId 对象。在一个集合里面,每个文档都有唯一的”_id” 值,来确保集合里面每个文档都能被唯一标识。...ObjectId   ObjectId 是”_id” 的默认类型。它设计成轻量型的,不同的机器都能用全局唯一的同种方法方便地生成它。...ObjectId 使用12 字节的存储空间,每个字节两位十六进制数字,是一个24 位的字符串。由于看起来很长,不少人会觉得难以处理。...另外,中间的几位数字也会变化(要是在创建的过程中停顿几秒钟)。这是ObjectId 的创建方式导致的。12 字节按照如下方式生成: ?   接下来的3 字节是所在主机的唯一标识符。...自动生成_id 如果插入文档的时候没有”_id” 键,系统会自动帮你创建一个,如果创建过程中存在字段:”_id”则不会在帮你创建了。通常会在客户端由驱动程序完成。理由如下。

    65630

    mongodb11天之屠龙宝刀(九)js函数入门:MongoDB基于js的数据类型修改

    mongodb11天之屠龙宝刀(九)js函数入门:MongoDB基于js的数据类型修改 原文连接:直通车 Mongodb并不提供Alter table这样的语句或者工具修改字段类型,只能写程序转...shell会使用一个特殊的内嵌文档来显示64位整数, 64位浮点数 shell中的数字都是这种类型。...shell将数据库里的符号类型转换成字符串。 对象id 对象id是文档的12字节的唯一 ID, {"X" :ObjectId() } 日期 日期类型存储的是从标准纪元开始的毫秒数。...因为MongoDB中有3种数字类型(32位整数、64位整数和64位浮点数),shell必须绕过JavaScript的限制。默认情况下,shell中的数字都被MongoDB当做是双精度数。...3 Object 对象,嵌套另外的文档 4 Array 值的集合或者列表可以表示成数组 5 Binary data 二进制 7 Object id 对象id是文档的12字节的唯一 ID 系统默认会自动生成

    1.5K30

    mongodb11天之屠龙宝刀(九)js函数入门:MongoDB基于js的数据类型修改

    mongodb11天之屠龙宝刀(九)js函数入门:MongoDB基于js的数据类型修改 Mongodb并不提供Alter table这样的语句或者工具修改字段类型,只能写程序转。...shell会使用一个特殊的内嵌文档来显示64位整数, 64位浮点数 shell中的数字都是这种类型。...shell将数据库里的符号类型转换成字符串。 对象id 对象id是文档的12字节的唯一 ID, {"X" :ObjectId() } 日期 日期类型存储的是从标准纪元开始的毫秒数。...因为MongoDB中有3种数字类型(32位整数、64位整数和64位浮点数),shell必须绕过JavaScript的限制。默认情况下,shell中的数字都被MongoDB当做是双精度数。...3 Object 对象,嵌套另外的文档 4 Array 值的集合或者列表可以表示成数组 5 Binary data 二进制 7 Object id 对象id是文档的12字节的唯一 ID 系统默认会自动生成

    2.1K40

    分布式系统唯一 ID 生成方案

    0x01:简介 系统唯一ID是我们在开发过程中遇到的一个常见问题,简单的来说,生成ID的方式有很多种,它们适应不同性能。...0x02:常见方案 一、数据库自增长序列或者字段 这是最常见的方式,利用数据库的AUTO_INCREMENT 优点 简单,代码方便,性能可接受 数字ID具有天然排序,对需要分页或者排序的结果很有帮组...缺点 不同数据库的语法和实现不同,数据库迁移或者数据库版本支持的时候需要处理 在单个数据库或读写分离或者一主多从的情况下,只有一个主库可以生成,可能会造成单点故障。...五、MongoDB 的 ObjectId MongoDB的ObjectId和snowflake算法类似。它设计成轻量型的,不同的机器都能用全局唯一的同种方法方便地生成它。...MongoDB 从一开始就设计用来作为分布式数据库,处理多个节点是一个核心要求。使其在分片环境中要容易生成得多。

    44720

    MongoDB的使用

    然而从另一方面说,因为只有null、布尔、数字、字符串、数字和对象这几种数据类型,所以JSON的表达能力有一定的局限。...这个键的值可以是任意类型,默认是个ObjectId对象。 在一个集合里,每个文档都有唯一的“_id”,确保集合里每个文档都能被唯一标识。...因为设计MongoDb的初衷就是用作分布式数据库,所以能够在分片环境中生成 唯一的标识符非常重要,而常规的做法:在多个服务器上同步自动增加主键既费时又费力,这就是MongoDB采用 ObjectId的原因...另外,中间的几位数字也会变化(要是在创建过程中停顿几秒)。 这是ObjectId的创建方式导致的,如上图 时间戳单位为秒,与随后5个字节组合起来,提供了秒级的唯一性。...最后3个字节是一个自动增加的 计数器。确保相同进程的同一秒产生的 ObjectId也是不一样的。 #2、自动生成_id 如果插入文档时没有"_id"键,系统会自帮你创建 一个。

    3.7K40

    MongoDB从入门到实战之MongoDB快速入门

    不支持表连接只支持嵌入式文档 primary key primary key 主键,MongoDB自动将_id字段设置为主键(默认键 _id 由 MongoDB 提供) MongoDB文档(Documment...ObjectId使用12字节的存储空间,每个字节可以存储两个十六进制数字,所以一共可以存储24个十六进制数字组成的字符串,在这24个字符串中,前8位表示时间戳,接下来6位是一个机器码,接下来4位表示进程...在单个mongod实例中,时间戳记值始终是唯一的。 在复制中,oplog有一个ts字段。该字段中的值反映了使用 BSON 时间戳值的操作时间。...MongoDB索引种类: _id索引:绝大多数集合默认建立的索引;对于每个插入的数据,mongodb都会自动生成一条唯一的_id字段。 单键索引:不自动创建,值单一,例如字符串,数字或者日期。...多键索引:不自动创建,值有多个,如数组,与单键索引创建形式相同,区别在于字段的值。 复合索引:查询条件不只一个时,需要建立复合索引。

    1.6K30

    MongoDB基础之入门

    3.文件限制 最大的BSON文档大小为16M。过大的文档,MongoDB提供了GridFS进行存储。 MongoDB在写操作之后保留文档字段的顺序,_id字段始终是文档中的第一个字段。..._id 在MongoDB中,存储在集合中的每个文档都需要一个唯一的_id字段作为主键。如果插入的文档省略了该_id字段,MongoDB驱动程序会自动为该字段生成ObjectId类型作为其值。..._id字段具有以下功能: 1.默认情况下,MongoDB在创建集合期间会使用_id为集合创建唯一索引。 2._id字段始终是文档中的第一个字段。..._id常用的数据类型: 1.使用ObjectId。 2.使用自然唯一标识符。可以节省空间并避免额外的索引。 3.自动递增的数字。 4.在应用程序代码中生成UUID。...这个字段可以认为是文档的主键。每个MongoDB文档都要求有一个_id,如果文档在创建时没有提供此字段,那么就会生成一个MongoDB对象ID并添加到文档里。这个字段全局唯一。

    1.1K10

    MongoDB基础之入门

    3.文件限制 最大的BSON文档大小为16M。过大的文档,MongoDB提供了GridFS进行存储。 MongoDB在写操作之后保留文档字段的顺序,_id字段始终是文档中的第一个字段。..._id 在MongoDB中,存储在集合中的每个文档都需要一个唯一的_id字段作为主键。如果插入的文档省略了该_id字段,MongoDB驱动程序会自动为该字段生成ObjectId类型作为其值。..._id字段具有以下功能: 1.默认情况下,MongoDB在创建集合期间会使用_id为集合创建唯一索引。 2._id字段始终是文档中的第一个字段。..._id常用的数据类型: 1.使用ObjectId。 2.使用自然唯一标识符。可以节省空间并避免额外的索引。 3.自动递增的数字。 4.在应用程序代码中生成UUID。...这个字段可以认为是文档的主键。每个MongoDB文档都要求有一个_id,如果文档在创建时没有提供此字段,那么就会生成一个MongoDB对象ID并添加到文档里。这个字段全局唯一。

    97730
    领券