分布式研究小院

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

Tokio[1] 的 task(一个Future) 里如果使用了阻塞调用, 例如 std::sync::Mutex, 会阻塞当前的 tokio-worker 线程, 这个 worker 无法再执行其他 task. 所以代码里如果不可避免的有(少量的)阻塞调用, 就要为 runtime 启动更多的 worker 线程, 保证存在没被阻塞的 worker 来执行待调度的 task, 以避免整个tokio runtime 完全 hang 住(有 task 但没 worker 运行它).


Tokio 中 hang 死所有 worker 的方法

原文链接:
https://drmingdrmer.github.io/tips/#/page/rust-thread-local-drop

Rust 中 #[thread_local] 的drop方法不被调用

Paxos[1] phase-1 要求 Proposer 生产一个整数 n 来作为 rnd. 实际上 rnd 的定义从整数推广到任意的 偏序关系[2] 的值, 也同样能满足 Paxos 的正确性, 因为 Paxos 中主要只用到了 rnd 的大小关系的性质.

Paxos扩展: 偏序rnd = Paxos + 2PC

类似 erasure-code 的算法也可以应用到paxos上以降低paxos的数据冗余.

Paxos: (Optimize): Asymmetric Acceptors

mmp3 跟 epaxos 有个不同的地方, instance 复制到 replica 时要记录所有依赖的instance, 包括间接依赖的. 这是mmp3 保证 线性一致性的一个条件, 读过epaxos的同学可能会漏掉这个细节导致无法证明线性一致性. 例如下面这个容易出现疑问的 case:

mmp3 协议与epaxos的差异: 包含间接依赖才能保证线性一致性

之前写了一篇 paxos的直观解释 , 用简单的语言描述了 paxos 的工作原理, 看过的朋友说是看过的最易懂的paxos介绍, 同时也问我是否也写一篇 raft 的. 但 raft 介绍文章已经很多很优质了, 感觉没什么可写的, 就一直拖着.

将 paxos 和 raft 统一为一个协议: abstract-paxos

开个坑, 记录下以往学习分布式paper时发现的bug, 或让人容易产生误会的点.

分布式一致性协议bug列表

200行代码实现paxos-kv 中介绍了一款非常简洁的分布式kv存储实现, 它是基于 classic-paxos 实现分布式一致性. 在 paxos的直观解释 中我们提到, 每次写入, 也就是每个 paxos 实例需要2轮 RPC 完成, 效率低.

Multi-Master-Paxos-3

本文链接: https://blog.openacid.com/algo/succinctset

100行代码的压缩前缀树: 50% smaller

上次跟好基 黄东旭 在咖啡厅撩天的时候谈笑风生地探讨了一个 TiDB 使用 Raft 时遇到的问题:

TiDB 在 Raft 成员变更上踩的坑

本文链接: [https://blog.openacid.com/algo/slimarray/]

slimarray: gzip的压缩率, 即时访问

本文链接: [https://blog.openacid.com/algo/paxoskv/]

200行代码实现基于paxos的kv存储

本文链接: [https://blog.openacid.com/algo/quorum/]

后分布式时代: 多数派读写的’少数派’实现

另外一个经常被提及的分布式算法是[raft], raft的贡献在于把一致性算法落地. 因为 [Leslie Lamport] 的理论很抽象, 要想把他的理论应用到现实中, 还需要工程师完全掌握他的理论再添加工程必要的环节才能跑起来.

可靠分布式系统-paxos的直观解释

本文链接: [https://blog.openacid.com/storage/ec-3/]

Erasure-Code-擦除码-3-极限篇

本文链接: [https://blog.openacid.com/storage/ec-2/]

Erasure-Code-擦除码-2-实现篇

本文链接: [https://blog.openacid.com/storage/ec-1/]
下载pdf: [Erasure-Code-擦除码-1-原理篇.pdf]

Erasure-Code-擦除码-1-原理篇

正如我之前写的， 我们是一个远程团队，团队成员遍布世界各地。这意味着code reviews 和 pull requests必须远程完成。

Art of Pull Requests(翻译)

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了分布式研究小院专栏，为你提供了分布式研究小院的相关文章，致力于帮助开发者快速成长与发展。

分布式研究小院

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐