首页
学习
活动
专区
工具
TVP
发布

架构之美

专栏成员
195
文章
218798
阅读量
63
订阅数
Apache 架构师总结的 30 条架构原则
本文作者叫 Srinath,是一位科学家,软件架构师,也是一名在分布式系统上工作的程序员。他是 Apache Axis2 项目的联合创始人,也是 Apache Software 基金会的成员。他是 WSO2 流处理器(wso2.com/analytics)的联席架构师。Srinath 撰写了两本关于 MapReduce 和许多技术文章的书。他获得了博士学位。来自美国印第安纳大学。 Srinath 通过不懈的努力最终总结出了 30 条架构原则,他主张架构师的角色应该由开发团队本身去扮演,而不是专门有个架构师
孙玄@奈学教育
2022-03-10
2490
分布式接口幂等性、分布式限流总结整理
—1— 文章目录 一、接口幂等性    1、Update操作的幂等性            1)根据唯一业务号去更新数据    2、使用Token机制,保证update、insert操作的幂等性            1)没有唯一业务号的update与insert操作 二、分布式限流    1、分布式限流的几种维度            1)QPS和连接数控制            2)传输速率            3)黑白名单            4)分布式环境    2、限流方案常用算法讲解    
孙玄@奈学教育
2022-03-03
5980
奈学科技技术开放日 | 《FastDFS核心技术与企业级应用实践》等你免费学!
好的开始等于成功的一半,2022给自己一个美好的期许! 为了感谢2021年广大技术人对奈学科技的关注和支持,在2022新年开篇之际,奈学科技的核心教研团队将于1月11日特别推出【奈学科技技术开放日】免费体验学习活动,以高含金量的智慧福利倾情回馈广大学员! 在数智化时代,不少企业面临着新一轮的数智化转型,随着业务的不断丰富和拓展,分布式系统和微服务的应用越来越广泛,FastDFS作为一个开源的轻量级分布式文件系统,是解决大数据量存储和负载均衡的重要中间件。 小年糕前技术总监、58 转转集团后端架构师王棕生老师
孙玄@奈学教育
2022-03-03
5400
双十一之秒杀设计
前面已经写了很多亿级流量的文章, 中间讲了各种处理思路, 这儿将这些思路与业务综合起来, 情形一就是秒杀, 提到秒杀, 很多人都会觉得这是一件技术要求很高的事情, 因为这涉及到超大访问量(可能瞬间千万倍的用户访问商品)、维护数据一致性(不能超卖), 前者对性能有极高的要求, 而后者又正好拉低了性能,本文谈谈秒杀的设计思路, 并在最后给出秒杀设计的简单模型图。
孙玄@奈学教育
2021-11-23
8170
ES 不香吗,为啥还要 ClickHouse?
Elasticsearch 是一个实时的分布式搜索分析引擎,它的底层是构建在 Lucene 之上的。简单来说是通过扩展 Lucene 的搜索能力,使其具有分布式的功能。
孙玄@奈学教育
2021-07-29
5.6K0
何谓架构?
在这个知识分享的爆炸时代,鉴于java生态的完整和繁荣,各种框架、中间件和工具包供我们使用。连新培训出来的人都知道ssm,微服务、集群、多线程、队列、高并发等技术,技术的间隔性正变得越来越小,仿佛我们只需要按部就班的去使用别人说的框架等技术就可以解决问题。如果刨除redis、rabbitmq、kafka、dubbo、springcloud这些具体的技术框架,你有没有静下心来真正思考过架构是什么呢?这些框架是究竟是扮演怎么样的角色?如果让你给架构下一个定义,你会选择如何去描述架构呢?
孙玄@奈学教育
2021-03-10
5170
聊聊从RPC到服务治理框架
与一般的HTTP REST框架不同,一个可用的RPC架构不仅解决了远程调用问题,也提供了用于服务注册和服务发现的基础设施,比如RMI(Java语言的RPC)里的RMI Registry,如下图所示。
孙玄@奈学教育
2020-08-13
1.2K0
分布式系统的概念都搞懂了吗?(下)
A服务调用B服务,B服务部署在多台机器,A发送请求到任意一个服务器均可完成调用。为了使每台服务器不至于忙于处理请求,可以将请求均衡到每一个服务器,提升网站的可用性。
孙玄@奈学教育
2020-08-10
3500
分布式事务精华总结篇,实打实的干货!
咱们前面分别对分布式事务的几个分支:XA、2PC、3PC、TCC、Saga、事务消息、最大努力事务进行的详细介绍。本篇作为分布式事务设计的收尾篇,讲对前面的内容查缺补漏和总结,最后对市面的一些开源框架做一些介绍。
孙玄@奈学教育
2020-07-09
7531
分布式柔性事务之Saga详解
Saga模型起源于1987年 Hector Garcia-Molina,Kenneth Salem 发表的论文《Sagas》,是分布式事务相关概念最早出现的。
孙玄@奈学教育
2020-06-28
1.6K0
干货来啦!分布式场景之刚性事务-2PC详解
分布式场景下,多个服务同时对服务一个流程,比如电商下单场景,需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败,或者网络不通引起的请求丢失,那么整个系统可能出现数据不一致的原因。
孙玄@奈学教育
2020-05-27
4600
这么流行的ZooKeeper,原来是这样设计的!
我们知道要写一个分布式应用是非常困难的,主要原因就是局部故障。一个消息通过网络在两个节点之间传递时,网络如果发生故障,发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障,也有可能是没有收到消息,又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息,并向他进行询问。这就是局部故障:根本不知道操作是否失败。因此,大部分分布式应用需要一个主控、协调控制器来管理物理分布的子进程。所以大部分应用需要开发私有的协调程序,协调程序的反复编写浪费时间,这个时候就需要一个通用的、伸缩性好的协调器。就是因为这样的场景,ZooKeeper应运而生,ZooKeeper的设计目的,就是为了减轻分布式应用程序所承担的协调任务。
孙玄@奈学教育
2020-03-11
5400
混沌工程
混沌工程师一门新兴的技术学科,它的初衷是通过实验性的方法,让人们建立复杂分布式系统能够在生产中抵御事件能力的信息。
孙玄@奈学教育
2020-01-15
1.6K0
分布式系统选主怎么玩?
分布式系统为了保证其可靠性,一般都会多节点提供服务,各别节点的故障不会影响系统的可用性。对于分布式的存储系统来说,在保证可用性的同时,数据的可靠性(不丢失)也是其要解决的核心问题。目前通用的方案是使用多副本存储。这就会引入一个新的问题,分布式存储系统的又一核心问题——多个副本间的数据一致性保障。所以就有了各种数据一致性协议。例如:Zookeeper的Zab、Etcd使用的Raft和无比复杂的Paxos等等。这些一致性协议都有一个共同的特点,那就是都有一个主节点(Leader)负责数据的同步。
孙玄@奈学教育
2020-01-04
2.8K0
「分布式系统前沿技术」专题:存储之数据库篇
分布式系统专家,架构师,开源软件作者。PingCAP 联合创始人兼 CTO,知名开源项目 Codis / TiDB / TiKV 主要作者,曾就职于微软亚洲研究院,网易有道及豌豆荚。2015 年创业,成立 PingCAP,致力于下一代开源分布式数据库的研发工作,擅长分布式存储系统设计与实现,高并发后端架构设计。
孙玄@奈学教育
2020-01-03
1.2K0
分布式锁选型背后的架构设计思维【附源码】
提到分布式锁,有很多实现,比如Redis分布式锁、ZooKeeper分布式锁、etcd分布式锁等。但是选择哪个更适合你的项目?在《基于CAP模型设计企业级真正高可用的分布式锁》一文深入分析过分布式锁的哲学本质,以及如何结合场景来选择合适的分布式锁。分析业务场景,得到业务本质,就是架构思维。思维最终是需要落地的,接下去分享一下对分布式锁的思考和实践。
孙玄@奈学教育
2019-12-20
1.6K0
基于CAP模型设计企业级真正高可用的分布式锁
2000年Eric Brewer教授提出CAP猜想,2年后CAP猜想被Seth Gilbert和Nancy Lynch从理论上证明。CAP是Consitency(强一致性)、Availability(可用性)、Partition tolerance(网络分区容忍性)三个不同维度的组合体,如图1所示。
孙玄@奈学教育
2019-11-14
8940
微服务架构中分布式事务实现方案如何取舍
针对分布式系统的特点,基于不同的一致性需求产生了不同的分布式事务解决方案,追求强一致的两阶段提交、追求最终一致性的柔性事务和事务消息等等。各种方案没有绝对的好坏,抛开具体场景我们无法评价,更无法能做出合理选择。在选择分布式事务方案时,需要我们充分了解各种解决方案的原理和设计初衷,再结合实际的业务场景,从而做出科学合理的选择。
孙玄@奈学教育
2019-11-06
6770
五分钟学会分布式事务
从概念开始 我们先从事务的定义开始。事务即一系列读存动作被当作一个执行单元,这些动作要么全成功,要么全失败,执行动作的过程中保证数据的隔离性和一致性。 我们抛离数据库这个特定场景,先假设一个数据存储设
孙玄@奈学教育
2018-07-03
5900
【SDCC讲师专访】58同城孙玄:一切抛开业务的架构设计都是耍流氓
本期我们采访的讲师是来自58同城高级系统架构师&技术负责人孙玄,他是58的技术委员会架构组主任,产品技术学院优秀讲师,代表58同城参与多次对外演讲。 58同城高级系统架构师,技术委员会架构组主任,产品技术学院优秀讲师,58同城即时通讯、C2C技术负责人,擅长架构设计,负责58核心系统的架构以及优化工作,满足百亿级系统吞吐需求。分布式系统存储专家,2007年开始从事大规模高性能分布式存储系统架构设计实现工作。 涉及自主研发分布式存储系统、MongoDB、MySQL、Memcached、Redis等。毕业于浙江
孙玄@奈学教育
2018-07-03
9260
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档