8.1 Collaboration and conflict resolution
时间戳选项使发送方在每个报文段中放置一个时间戳值。接收方在确认中返回这个数值，从而允许发送方为每一个收到的 A C K计算RT T（我们必须说“每一个收到的 A C K”而不是“每一个报文段”，是因为T C P通常用一个A C K来确认多个报文段）。我们提到过目前许多实现为每一个窗口只计算一个 RT T，对于包含8个报文段的窗口而言这是正确的。然而，较大的窗口大小则需要进行更好的RT T计算。
LRU，最近最少使用（Least Recently Used，LRU），经典缓存算法。
摘要：随着网络的飞速发展，设备的日益增多，许多网络应用和网络安全对时间同步问题提出了迫切需求。因此基于NTP的时间同步解决方案成为解决这些问题的合理选择。本方案介绍了大型生产型企业的网络时间同步技术中的NTP协议的原理、工作模式和体系结构，并结合企业的MES网络结构讨论了NTP在企业网中的应用。
当第一次听到NTP时，完全不知道是什么概念，只好问度娘。度娘搜到的答案如下：
这篇文章接上文mongodb4.0事务实现浅析。 mongo从3.6之后，开始进行WT-TIMESTAMP-PROJ，后续server层引入了带签名的逻辑时钟logic_clock.h。基于逻辑时钟与客户端协同，又实现了因果一致性会话。到4.0，server层的事务框架做了大的改进，Oplog空洞的维护从server层下移到引擎层，并且支持了wt层事务[as-if]提交时间可指定，从而统一了底层快照时间戳与server层OplogTime，使得以OplogTime作为参数直接访问引擎层快照成为可能。而OplogTime本身又由逻辑时钟指定，俨然一套基于逻辑时钟的严密体系。
FIFO（First in First out），先进先出。其实在操作系统的设计理念中很多地方都利用到了先进先出的思想，比如作业调度（先来先服务），为什么这个原则在很多地方都会用到呢？因为这个原则简单、且符合人们的惯性思维，具备公平性，并且实现起来简单，直接使用数据结构中的队列即可实现。
其实整个问题是使用雪花算法过程是遇到的，这次刚好把事故记下来，希望对没遇到过得同学有个提醒。
在我们依赖文件服务器、邮件服务器、互联网网关以及其它无数网络设备的背后，存在一个基本的信任就是：网络里的计算机都有精确的时间。伴随着企业计算的引人注目的增长以及真正类似UNIX的多任务机制在PC上实现，相应地，企业内产生了同步所有计算机/工作站的需求。
在数据系统中，时钟（clocks）和时间（time）都很重要。应用程序会以很多种形式依赖时钟，举例来说：
数据库通常有着完善的事务支持，但是局限于单机的存储和性能，于是就出现了各种分布式解决方案。最近读了《Designing Data-Intensive Applications》这本书，所以做一个总结，供大家做个参考，有什么不对的请大家指正，一起讨论。
NTP（Network Time Protocol，网络时间协议）是由RFC 1305定义的时间同步协议，用来在分布式时间服务器和客户端之间进行时间同步。NTP基于UDP报文进行传输，使用的UDP端口号为123。
以上是一些常见的解决数据冲突的策略，在实际应用中可以根据具体情况选择合适的策略来解决数据冲突问题。
本章我们将研究 Broadcast protocols广播协议（也称为multicast protocols 组播协议），即向多个接收者传递同一条信息的算法。正如我们将在第5讲中看到的那样，这些协议可以用来构成更高级分布式算法。在实践中，几种不同的广播协议都有采用，它们的主要区别在于传递消息的顺序order。正如我们在上一讲中看到的，顺序的概念与时钟和时间密切相关。因此，我们将在本章开始时，更深入地研究时钟如何帮助我们跟踪分布式系统中的顺序。
世界是处于不断变化中的，佛经上说：“诸行无常”，就是这个意思。只有变化，作为观察者的我们才能感觉到时间，正是变化的世界让我们有了时间的概念。
上篇文章我们提到了数据系统常用的模型，当提交新数据时，必须将它发送给Leader节点，但是当用户查询数据时，可以从一个Follower节点读取该数据。 这样的模型使十分适合Web应用的读多写少的特点。
HBase 与传统关系数据库（例如MySQL，PostgreSQL，Oracle等）在架构的设计以及为应用程序提供的功能方面有很大的不同。HBase 权衡了其中一些功能，以实现更好的可扩展性以及更灵活的模式。与关系数据库相比，HBase 表的设计有很大的不同。下面将通过解释数据模型向您介绍 HBase 表设计的基础知识，并通过一个例子深入探讨 HBase 表的设计。
今天的文章来聊聊向量时钟，在前文介绍分布式系统一致性的时候，曾经介绍过，在弱一致性模型当中会有一个因果性的问题。向量时钟算法正是设计出来解决因果关系问题的。
在流处理之中，当输入是文件时，第一个处理步骤通常是将其解析为一连串的记录。在流处理之中，记录通常被称为事件，每个事件都是一个小的、独立的、不可变的对象，通常每个事件包含一个时间戳，表明事件产生的时间。 在流处理之中，事件由生产者产生，然后可能由多个对应消费者，相关的事件通常被分组到同一个主题之中。
分布式策略ID的主要应用在互联网网站、搜索引擎、社交媒体、在线购物、金融、大数据处理、日志场景中，这些应用需要支持大量的并发请求和用户访问，分布式ID策略可以通过请求分发到不同的服务器节点来做计算，以提高服务的响应速度和可用性。
本文是阅读论文Efficient Optimistic Concurrency Control Using Loosely Synchronized Clocks的读书笔记.
UUID（通用唯一标识符）是一种用于标识信息的标准。UUID 的标准定义在RFC 4122中。UUID 主要有四个版本（版本1到版本4），每个版本都有其生成规则。
分布式策略ID的主要应用在互联网网站、搜索引擎、社交媒体、在线购物、金融、大数据处理、日志场景中，这些应用需要支持大量的并发请求和用户访问，分布式ID策略可以通过请求分发到不同的服务器节点来做计算，以提高服务的响应速度和可用性。 常见的分布式ID生成策略： ● UUID（Universally Unique Identifier） ● 雪花算法（Snowflake） ● Redis原子自增 ● 基于数据库的自增主键（有些数据库不支持自增主键） ● 取当前毫秒数 本文主要简单介绍下雪花ID算法（Snowflake）的Python语言的计算方法。
在流处理中，时间是一个非常核心的概念，是整个系统的基石。比如，我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口的内数据指标。那如何界定哪些数据将进入这个窗口呢？在窗口的定义之前，首先需要确定一个应用使用什么样的时间语义。
对于流式处理，最大的特点是数据上具有时间的属性特征，Flink根据时间产生的不同位置分为三个时间概念：
CRDT 协同编辑中，我们经常会使用 Last-Writer-Win 的策略解决冲突。即对于多个冲突的操作，哪个操作是最后修改的，就应用哪个操作。
雪花算法 SnowFlake 内部结构【分布式ID生成策略】
时间是我们日常生活的重要组成部分，而在数字时代，时间同步也在计算机和网络系统中扮演着至关重要的角色。网络时间协议（Network Time Protocol，NTP）是一种用于确保网络中各个设备保持准确时间的关键协议。随着互联网的普及和数字技术的不断发展，NTP变得愈加重要，影响着多个领域，从通信和安全到金融和医疗。
以太网技术由于其开放性好、价格低廉和使用方便等特点，已经广泛应用于电信级别的网络中，以太网的数据传输速度也从早期的10M提高到100M，GE，10GE。40GE，100GE正式产品也于2009年推出。
含有时间的流处理是有状态流处理的扩展，其中时间在计算中起一定作用。 除其他外，当您进行时间序列分析、基于特定时间段（通常称为窗口）进行聚合时，或者在事件发生的时间很重要的情况下进行事件处理时，就会出现这种情况。
NTP协议介绍 (2013-06-19 14:50:50)转载▼ SNTP协议原理
I C M P时间戳请求允许系统向另一个系统查询当前的时间。返回的建议值是自午夜开始计算的毫秒数，协调的统一时间（ Coordinated Universal Time, UTC）（早期的参考手册认为U T C是格林尼治时间）。这种I C M P报文的好处是它提供了毫秒级的分辨率，而利用其他方法从别的主机获取的时间（如某些 U n i x系统提供的r d a t e命令）只能提供秒级的分辨率。由于返回的时间是从午夜开始计算的，因此调用者必须通过其他方法获知当时的日期，这是它的一个缺陷。
在前面的Demo中，我们已经分别在独立的线程中实现了对视频的解码渲染和音频的解码播放功能
今天的课程是关于期待已久的缓冲池的话题，其实就是 DBMS 如何管理它的内存并从磁盘来回移动数据，我们希望DBMS自己来管理这些内存与磁盘存储交换的操作，而不是把它留给操作系统。你可以从两个方面考虑数据库存储和内存管理问题：
LRU是常见的缓存淘汰策略，用于分布式系统的缓存、页表置换等场景。然而，经典的哈希链表实现事实上并不是很好的实现策略。
该定义暗含着：所有操作会形成一个确定的执行顺序。在图 9-4 中，我们就根据读到的结果来推测出了一个服务器端所有操作的看起来的执行顺序。
Spanner是一个全球分布式的数据库，从数据模型来看Spanner很像BigTable，都是类似于key对应着一行数据，但是却并不一样，Spanner中衍生出了“目录”的概念（把两张表合并存储）。这并不是重点，Spanner的重是它是第一个在全球范围内传递数据且保证外部一致的分布式事务的系统，且支持几种特定的事务，这显然是一个很困难的问题，我们会在文章中加以描述，这篇文章主要对Spanner的事务以及实现事务所使用的 TrueTime API 进行分析，这些也是论文中描述最为详尽，也是比较不好懂的地方。还有之所以不分析Spanner的架构是因为我觉得论文（第二节）中此方面的描述实在是有些简略，所以直接看论文就可以。
1 什么是时间？ 2 物理时间：墙上时钟 3 逻辑时钟：为事件定序 4 Turetime：物理时钟回归 5 区块链：重新定义时间 6 其他影响 6.1 NTP的时间同步 6.2 有限时间内的不可能性 6.3 延迟 6.4 租约 7 总结 8 参考文献
MongoDB中的一些最新特性（如多文档ACID事务）需要对底层的WiredTiger存储引擎中进行基础性的增强。
NTP（Network Time Protocol，网络时间协议）是由RFC 1305定义的时间同步协议，用来在分布式时间服务器和客户端之间进行时间同步。NTP基于UDP报文进行传输，使用的UDP端口号为123。使用NTP的目的是对网络内所有具有时钟的设备进行时钟同步，使网络内所有设备的时钟保持一致，从而使设备能够提供基于统一时间的多种应用。
要比较两个函数哪个性能更好，一个直观且公平的方法就是计算两个函数分别执行完的时间。
在这一节中，我们将介绍并发系统中一种特殊一致性模型，它被称为linearizability 线性一致性。人们在提到线性化时有时会说strong consistency强一致性，但 "强一致性"的概念是相当模糊的。我们使用linearizability 线性一致性这个术语，它有一个精确定义的含义。
直播APP源码音视频同步主要用于在音视频流的播放过程中，让同一时刻录制的声音和图像在播放的时候尽可能的在同一个时间输出。
HBase中的一行由一个行键和一个或多个列组成，列的值与这些列相关联。存储行时，按行键按字母顺序排列。因此，行键的设计非常重要。目标是以这样一种方式存储数据，即相关的行彼此接近。常见的行键模式是网站域。如果您的行键是域，您可能应该反向存储它们(org.apache.www, org.apache.mail, org.apache.jira)。这样，所有Apache域都在表中彼此接近，而不是基于子域的第一个字母展开。
MongoDB从3.6开始推出了Change Stream功能，提供实时的增量数据流功能，为同步、分析、监控、推送等多种场景使用带来福音。4.0中引入的混合逻辑时钟，可以支持分片集群在不关闭balancer的情况下，吐出的增量数据在即使发生move chunk发生的情况下，还能够保证数据的因果一致性。不但如此，随着4.0.7开始推出的High Water Mark功能，使得返回的change stream cursor包括Post Batch Resume Token，更好的解决Change Stream中ResumeToken推进的问题。关于Change Stream的功能解读，网上可以找到比较多的资料，比如张友东的这篇解读介绍了Change Stream与oplog拉取的对比以及基本的使用。本文将主要侧重从内核源码层面进行解读，主要介绍分片集群版下Change Stream在mongos和mongod上都执行了哪些操作。此外，由于4.0开始MongoDB使用了混合逻辑时钟，从而保证了move chunk的因果一致性，所以本文还会先简单介绍一下MongoDB中混合逻辑时钟的原理。
当我们在使用单机系统时，它通常以一种相当可预测的方式工作：要么它正常工作，要么不工作。
导语 | 本文是基于最近对Golang分布式ID的相关讨论，希望本文内容可以对相关技术感兴趣的开发者提供一点经验和帮助。 一、本地ID生成器 （一）uuid uuid有两种包： github.com/google/uuid ，仅支持V1和V4版本。 github.com/gofrs/uuid ，支持全部五个版本。 下面简单说下五种版本的区别： Version 1，基于mac地址、时间戳。 Version 2，based on timestamp，MAC address and POSIX UID/GID
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
