腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

s09g的技术博客

专栏作者

54

文章

28173

阅读量

13

订阅数

System Design Interview 9 设计网络爬虫

网络爬虫爬虫 system 队列设计

In this chapter, we focus on web crawler design: an interesting and classic system design interview question.

2024-04-10

550

天上多了一颗叫Mickey的星星

微信 public 翻译

周三开始猫猫就没有吃饭，一直在睡觉。最初以为是挑食，想要换猫粮。于是用注射器喂了点水，又给了猫条补充体力。

2023-11-13

1290

Chapter 1 - 可靠、可扩展与可维护的应用系统

api vr 视频解决方案 windows

第一部分是数据系统的基础，介绍了一些基本思想，稍微提了一些 building blocks

2022-12-18

5010

Cloud Pilot 2.5 Google Cloud Platform 虚拟机迁移（下）

迁移 kvm 虚拟化

本周赶上独立日休假，本来没打算写。后来看了看上周的素材还多了点边角料，就顺手凑了一篇。实属为了这点醋，包了顿饺子。

2022-12-18

6960

零基础入门分布式系统 8. 案例研究 Case studies （完）

unix 编程算法数据库 sql

8.1 Collaboration and conflict resolution

2022-12-18

1.8K0

Cloud Pilot 2. Google Cloud Platform 服务器虚拟化架构（上）

kvm https 机器学习神经网络深度学习

首先还是拿个友商出来做对照。当初是在大四毕业的暑假到研究生的第一年期间考的VCP和VCAP，vSphere的版本还在6.5/6.7，放在今天多少有点过气。但我还是打算把VMware拎出来，看看VMware vSphere虚拟化架构。

2022-07-06

1.6K0

Cloud Pilot系列：1. Google Cloud 数据中心网络架构

fabric facebook google super 交换机

周末去办公室收拾东西的时候，路过广场前面的Data Center大箱子，隔着玻璃瞧了一眼里面的结构。

2022-07-06

1.5K0

流式系统 - 第一章: Streaming 入门（三）

windows 数据处理

我们已经有了足够的背景知识，可以开始研究有边界和无边界数据处理中常见的主流类型：批处理和流处理。（在此我将微批处理和流处理相互等价，因为两者之间的差异在数据处理模式层面上并不大）

2022-07-06

5520

流式系统 - 第一章: Streaming 入门（二）

数据处理编程算法分布式 processing uml

要清晰地谈论无边界数据处理，需要对所涉及的时间域有一个清晰的理解。在任何数据处理系统中，通常有两个我们关心的时间域：

2022-07-06

3130

流式系统 - 第一章: Streaming 入门（一）

serverless windows 批量计算数据处理

Streaming流式计算这个词被用来表示各种不同的东西。这种缺乏精确性的术语模糊了流式计算的真正含义。设计良好的流式计算系统与任何现有的批处理引擎一样，能够产生正确的、一致的、可重复的结果（技术上更胜一筹）。

2022-07-06

3480

零基础入门分布式系统 7.3 Eventual consistency

数据分析编程算法

线性一致性是分布式系统中非常方便的一致性模型，因为它保证系统的行为像只有一个数据副本一样，即使系统实际上是多副本的。这使得应用程序可以忽略与分布式系统合作的一些复杂问题。然而，这种强力的保证也是有代价的，因此，线性一致性并不适合所有的应用。

2022-07-06

5310

零基础入门分布式系统 7.2 Linearizability

http unix 数据分析编程算法

在这一节中，我们将介绍并发系统中一种特殊一致性模型，它被称为linearizability 线性一致性。人们在提到线性化时有时会说strong consistency强一致性，但 "强一致性"的概念是相当模糊的。我们使用linearizability 线性一致性这个术语，它有一个精确定义的含义。

2022-07-06

3570

零基础入门分布式系统 7.1 Two-phase commit

commit distributed models 事务

我们已经看到了如何使用读/写仲裁进行数据复制，以及使用全序广播进行状态机复制。在这种情况下，我们希望副本包含"相同数据的一致备份"，但我们还没有准确定义consistent一致是什么意思。

2022-07-06

2770

零基础入门分布式系统 6. Consensus

raft 编程算法

本章我们回到全序广播的问题。全序广播非常适合实现状态机复制。实现全序广播的一种方法是指定一个节点作为leader领导者，并通过它转发所有消息。然后领导者通过FIFO广播来分发消息，这就足以确保所有节点以相同的顺序传递相同的消息序列。

2022-07-06

5790

零基础入门分布式系统 5. Replication

unix 数据库 TDSQL MySQL 版 sql

我们现在来看看的replication数据复制的问题，也就是在多个节点上维护相同数据的拷贝，每个节点被称为replica 副本。数据复制是许多分布式数据库、文件系统或其他存储系统的标准特性之一。它是我们实现容错的主要机制之一：如果一个副本出现故障，我们可以继续访问其他副本上的数据备份。

2022-07-06

6490

零基础入门分布式系统 4. Broadcast protocols and logical time

unix 编程算法

本章我们将研究 Broadcast protocols广播协议（也称为multicast protocols 组播协议），即向多个接收者传递同一条信息的算法。正如我们将在第5讲中看到的那样，这些协议可以用来构成更高级分布式算法。在实践中，几种不同的广播协议都有采用，它们的主要区别在于传递消息的顺序order。正如我们在上一讲中看到的，顺序的概念与时钟和时间密切相关。因此，我们将在本章开始时，更深入地研究时钟如何帮助我们跟踪分布式系统中的顺序。

2022-07-06

5490

零基础入门分布式系统 3. Time, clocks, and ordering of events

ntp 分布式 unix java

在本讲座中，我们将研究分布式系统中的时间概念。对时间的假设构成了分布式系统模型的一个关键部分。例如，基于超时的故障检测器需要测量时间以确定何时超时。操作系统依赖计时器和时钟，以便安排任务，跟踪CPU的使用，以及别的一些任务。应用程序经常希望记录事件发生的时间和日期：例如，当调试分布式系统中的错误时，时间戳对调试很有帮助，因为它们允许我们重建同一时间不同节点上发生事件的场景。所有这些都需要对时间进行精确测量。

2022-07-06

7800

零基础入门分布式系统 (Martin Kleppmann) 2. Models of distributed systems

编程算法分布式

system model 系统模型用于描述我们对节点和网络行为方式的假设。它是对其属性的抽象描述，在实践中可以通过各种技术来实现。为了说明常见的系统模型，我们将从分布式系统中的两个经典思维实验开始：两将军问题和拜占庭将军问题。

2022-07-06

3820

零基础入门分布式系统 (Martin Kleppmann) 1.Introduction

分布式 rpc http https 网络安全

这8堂关于分布式系统的课构成了《Concurrent and Distributed Systems》的后半部分。前半部分的重点是在同一台计算机上运行的多个进程或线程之间的并发，而后半部分则进一步研究了由多个通信计算机组成的系统。

2022-07-06

4460

Vertex AI & kubeflow: 从DevOps到MLOps

机器学习神经网络深度学习人工智能 devops

先解释一个东西：MDLC模型开发生命周期。用来描述一个机器学习模型开发的全过程：从data explore到model deployment。（这词也不是什么专有名词，明显是从PDLC/SDLC拿过来用的）。

2022-07-06

1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态