腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
s09g的技术博客
专栏成员
举报
54
文章
30641
阅读量
13
订阅数
订阅专栏
申请加入专栏
全部文章(54)
编程算法(13)
rpc(10)
raft(7)
unix(6)
分布式(6)
缓存(6)
数据库(5)
sql(4)
神经网络(4)
tcp/ip(4)
虚拟化(4)
机器学习(3)
node.js(3)
linux(3)
http(3)
dns(3)
数据处理(3)
windows(3)
自动驾驶(2)
java(2)
api(2)
深度学习(2)
mapreduce(2)
网络安全(2)
无人驾驶(2)
kvm(2)
数据分析(2)
https(2)
微服务(2)
私有网络(1)
负载均衡(1)
其他(1)
python(1)
go(1)
css(1)
html(1)
jquery(1)
负载均衡缓存(1)
批量计算(1)
TDSQL MySQL 版(1)
人工智能(1)
网站(1)
vr 视频解决方案(1)
yarn(1)
容器(1)
serverless(1)
kubernetes(1)
devops(1)
爬虫(1)
hadoop(1)
uml(1)
ntp(1)
大数据(1)
微信(1)
processing(1)
sdn(1)
迁移(1)
commit(1)
distributed(1)
fabric(1)
facebook(1)
google(1)
matrix(1)
models(1)
output(1)
prediction(1)
process(1)
public(1)
set(1)
state(1)
super(1)
system(1)
vmware(1)
备份(1)
磁盘(1)
队列(1)
翻译(1)
交换机(1)
设计(1)
事务(1)
网络爬虫(1)
搜索文章
搜索
搜索
关闭
System Design Interview 9 设计网络爬虫
网络爬虫
爬虫
system
队列
设计
In this chapter, we focus on web crawler design: an interesting and classic system design interview question.
s09g
2024-04-10
87
0
天上多了一颗叫Mickey的星星
微信
public
翻译
周三开始猫猫就没有吃饭,一直在睡觉。最初以为是挑食,想要换猫粮。于是用注射器喂了点水,又给了猫条补充体力。
s09g
2023-11-13
146
0
Chapter 1 - 可靠、可扩展与可维护的应用系统
api
vr 视频解决方案
windows
第一部分是数据系统的基础,介绍了一些基本思想,稍微提了一些 building blocks
s09g
2022-12-18
542
0
Cloud Pilot 2.5 Google Cloud Platform 虚拟机迁移(下)
迁移
kvm
虚拟化
本周赶上独立日休假,本来没打算写。后来看了看上周的素材还多了点边角料,就顺手凑了一篇。实属为了这点醋,包了顿饺子。
s09g
2022-12-18
727
0
零基础入门分布式系统 8. 案例研究 Case studies (完)
unix
编程算法
数据库
sql
8.1 Collaboration and conflict resolution
s09g
2022-12-18
1.8K
0
Cloud Pilot 2. Google Cloud Platform 服务器虚拟化架构(上)
kvm
https
机器学习
神经网络
深度学习
首先还是拿个友商出来做对照。当初是在大四毕业的暑假到研究生的第一年期间考的VCP和VCAP,vSphere的版本还在6.5/6.7,放在今天多少有点过气。但我还是打算把VMware拎出来,看看VMware vSphere虚拟化架构。
s09g
2022-07-06
1.7K
0
Cloud Pilot系列:1. Google Cloud 数据中心网络架构
fabric
facebook
google
super
交换机
周末去办公室收拾东西的时候,路过广场前面的Data Center大箱子,隔着玻璃瞧了一眼里面的结构。
s09g
2022-07-06
1.7K
0
流式系统 - 第一章: Streaming 入门(三)
windows
数据处理
我们已经有了足够的背景知识,可以开始研究有边界和无边界数据处理中常见的主流类型:批处理和流处理。(在此我将微批处理和流处理相互等价,因为两者之间的差异在数据处理模式层面上并不大)
s09g
2022-07-06
587
0
流式系统 - 第一章: Streaming 入门(二)
数据处理
编程算法
分布式
processing
uml
要清晰地谈论无边界数据处理,需要对所涉及的时间域有一个清晰的理解。在任何数据处理系统中,通常有两个我们关心的时间域:
s09g
2022-07-06
334
0
流式系统 - 第一章: Streaming 入门(一)
serverless
windows
批量计算
数据处理
Streaming流式计算这个词被用来表示各种不同的东西。这种缺乏精确性的术语模糊了流式计算的真正含义。设计良好的流式计算系统与任何现有的批处理引擎一样,能够产生正确的、一致的、可重复的结果(技术上更胜一筹)。
s09g
2022-07-06
406
0
零基础入门分布式系统 7.3 Eventual consistency
数据分析
编程算法
线性一致性是分布式系统中非常方便的一致性模型,因为它保证系统的行为像只有一个数据副本一样,即使系统实际上是多副本的。这使得应用程序可以忽略与分布式系统合作的一些复杂问题。然而,这种强力的保证也是有代价的,因此,线性一致性并不适合所有的应用。
s09g
2022-07-06
570
0
零基础入门分布式系统 7.2 Linearizability
http
unix
数据分析
编程算法
在这一节中,我们将介绍并发系统中一种特殊一致性模型,它被称为linearizability 线性一致性。人们在提到线性化时有时会说strong consistency强一致性,但 "强一致性"的概念是相当模糊的。我们使用linearizability 线性一致性这个术语,它有一个精确定义的含义。
s09g
2022-07-06
410
0
零基础入门分布式系统 7.1 Two-phase commit
commit
distributed
models
事务
我们已经看到了如何使用读/写仲裁进行数据复制,以及使用全序广播进行状态机复制。在这种情况下,我们希望副本包含"相同数据的一致备份",但我们还没有准确定义consistent一致是什么意思。
s09g
2022-07-06
304
0
零基础入门分布式系统 6. Consensus
raft
编程算法
本章我们回到全序广播的问题。全序广播非常适合实现状态机复制。实现全序广播的一种方法是指定一个节点作为leader领导者,并通过它转发所有消息。然后领导者通过FIFO广播来分发消息,这就足以确保所有节点以相同的顺序传递相同的消息序列。
s09g
2022-07-06
612
0
零基础入门分布式系统 5. Replication
unix
数据库
TDSQL MySQL 版
sql
我们现在来看看的replication数据复制的问题,也就是在多个节点上维护相同数据的拷贝,每个节点被称为replica 副本。数据复制是许多分布式数据库、文件系统或其他存储系统的标准特性之一。它是我们实现容错的主要机制之一:如果一个副本出现故障,我们可以继续访问其他副本上的数据备份。
s09g
2022-07-06
708
0
零基础入门分布式系统 4. Broadcast protocols and logical time
unix
编程算法
本章我们将研究 Broadcast protocols广播协议(也称为multicast protocols 组播协议),即向多个接收者传递同一条信息的算法。正如我们将在第5讲中看到的那样,这些协议可以用来构成更高级分布式算法。在实践中,几种不同的广播协议都有采用,它们的主要区别在于传递消息的顺序order。正如我们在上一讲中看到的,顺序的概念与时钟和时间密切相关。因此,我们将在本章开始时,更深入地研究时钟如何帮助我们跟踪分布式系统中的顺序。
s09g
2022-07-06
646
0
零基础入门分布式系统 3. Time, clocks, and ordering of events
ntp
分布式
unix
java
在本讲座中,我们将研究分布式系统中的时间概念。对时间的假设构成了分布式系统模型的一个关键部分。例如,基于超时的故障检测器需要测量时间以确定何时超时。操作系统依赖计时器和时钟,以便安排任务,跟踪CPU的使用,以及别的一些任务。应用程序经常希望记录事件发生的时间和日期:例如,当调试分布式系统中的错误时,时间戳对调试很有帮助,因为它们允许我们重建同一时间不同节点上发生事件的场景。所有这些都需要对时间进行精确测量。
s09g
2022-07-06
814
0
零基础入门分布式系统 (Martin Kleppmann) 2. Models of distributed systems
编程算法
分布式
system model 系统模型用于描述我们对节点和网络行为方式的假设。它是对其属性的抽象描述,在实践中可以通过各种技术来实现。为了说明常见的系统模型,我们将从分布式系统中的两个经典思维实验开始:两将军问题和拜占庭将军问题。
s09g
2022-07-06
422
0
零基础入门分布式系统 (Martin Kleppmann) 1.Introduction
分布式
rpc
http
https
网络安全
这8堂关于分布式系统的课构成了《Concurrent and Distributed Systems》的后半部分。前半部分的重点是在同一台计算机上运行的多个进程或线程之间的并发,而后半部分则进一步研究了由多个通信计算机组成的系统。
s09g
2022-07-06
491
0
Vertex AI & kubeflow: 从DevOps到MLOps
机器学习
神经网络
深度学习
人工智能
devops
先解释一个东西:MDLC模型开发生命周期。用来描述一个机器学习模型开发的全过程:从data explore到model deployment。(这词也不是什么专有名词,明显是从PDLC/SDLC拿过来用的)。
s09g
2022-07-06
1.1K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档