文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

淘宝应对双11的技术架构分析

双“11”最热门的话题是TB ，最近正好和阿里的一个朋友聊淘宝的技术架构，发现很多有意思的地方，分享一下他们的解析资料： 　　淘宝海量数据产品技术架构 　　数据产品的一个最大特点是数据的非实时写入，正因为如此...位于架构顶端的是我们的数据来源层，这里有淘宝主站的用户、店铺、商品和交易等数据库，还有用户的浏览、搜索等行为日志等。这一系列的数据是数据产品最原始的生命力所在。 　　...在这一层，我们有基于MySQL的分布式关系型数据库集群MyFOX和基于HBase的NoSQL存储集群Prom，在后面的文字中，我将重点介绍这两个集群的实现原理。...其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。 　　...对于海量数据处理，从数据库层面来讲无非就是两点：1、压力如何分摊，分摊的目的就是为了把集中式变为分布式。

3.5K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    单体架构，分布式系统的差别在哪里？

    2.3 单体架构示意图 2.4 单体应用优缺点 2.4.1 优点 易于集中式开发、测试、管理、部署。 无需考虑跨语言。 能避免功能重复开发（相对分布式）。...03 — 分布式架构 3.1 微服务定义 微服务架构风格是一种将一个单一应用程序开发为一组小型服务的方法，每个服务运行在自己的进程中，服务间通信采用轻量级通信机制。...3.2 微服务举例 市面上目前典型主流的微服务架构有SpringBoot、SpringCloud、Dubbo，微服务兴起的时代，除了官方几个代表的框架外，各大厂商也开始了各自开源的分布式框架。...但也暴露了分布式难以解决的一些问题，著名的CAP理论就是其中的一个典型。不过整体来说还是利大于弊，选择分布式微服务架构是未来的趋势，也是淘汰旧技术的必经之路。...04 — 总结 从单体架构到分布式微服务架构，我们可以把单体应用简单分为水平拆分或垂直拆分两种方式。如一个电商系统，包含：商品模块、会员模块、物流模块、支付模块、订单模块几个核心模块。

    1.6K30

    分布式数据库 到底分布在哪里了，优缺点在哪里

    分布式式数据库到底分布在哪里了，大多数的定义中大家确认分布式数据库是通过网络方式，两个以上的节点，基于分布式协议通过文件系统组成的数据存储和处理单元的统称叫分布式数据库。...基于我浅薄的分布式系统的知识，简单的将分布式数据库到底哪里分布进行了一个总结 1 存储分布式 2 计算节点分布式 3 计算节点 ，存储节点，分布式 4 计算单元分布式 关于题目中的第一个部分关于分布式的问题...，分布式到底哪里分布了，进行了说明。...第二个问题，各种分布式的方式中，优缺点又在哪里？？？...而分布式数据库本身的性能本身也与，不同的架构设计，导致的分布式数据库系统在满足原由单体数据库中对于事务，以及多版本控制的要求的情况下，越发的复杂。

    3.2K30

    首次揭秘双11双12背后的云数据库技术！| Q推荐

    是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行？...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...此外，Tair 内存数据库整体架构采用 share-nothing 架构，并为用户提供了分区单线程 ACID 能力。...“那这背后对于一个新的数据库产品类型的要求，实际上整个业界大家都是在探索阶段。” 写在最后 双 11 双 12 背后的数据库技术支持远不止于此。...双 11 双 12 丰富的运营活动和千亿交易额背后，数据库层面是包括 RDS、PolarDB、Tair、ADB(ADB3.0) 以及 Lindorm 等数据库产品提供的组合技。

    51.7K50

    腾讯云数据库双11优惠体验与评测

    引言每年的双11购物节，除了电商平台的促销活动外，各大云服务商也纷纷推出了各种优惠活动。作为国内领先的云服务提供商，腾讯云在双11期间推出了多项数据库服务的优惠活动。...NoSQL 数据库：如 MongoDB、Couchbase 等。分布式数据库：如 TDSQL、CynosDB 等。缓存数据库：如 Redis、Memcached 等。...每种数据库都有其独特的优势，适用于不同的场景。1.2 腾讯云数据库的特点高可用性：腾讯云数据库提供多种高可用架构，确保数据的安全性和可靠性。...二、双11优惠活动概述2.1 优惠内容在双11期间，腾讯云数据库推出了多项优惠活动，包括：折扣优惠：部分数据库产品提供高达50%的折扣。...2.2 活动时间双11优惠活动通常从11月1日开始，持续到11月11日。用户可以在此期间购买数据库服务，享受优惠。

    17.8K10

    10 年稳定支撑双 11 ，国产数据库之光 OceanBase

    这场阿里专为开发者打造的数据库交流学习的机会，怎么能少了我呢？于是西红柿也趁周末时间去”补课“了，一到现场可谓满满都是”压迫感“！没想到大家周末都这么有激情呀（见图一，千人会场座无虚席）。...OceanBase CTO 杨传辉在大会现场说，“OceanBase 将持续降低开发者使用门槛，全面提升 OceanBase 的易用性，打造真正对开发者友好的数据库，建设开放的技术生态，让国产数据库走向田间地头...简单来说，就是牛，非常牛，双 11 知道吧？...OceanBase 已连续 10 年稳定支撑双 11，创新推出“三地五中心”城市级容灾新标准，在被誉为“数据库世界杯”的 TPC-C 和 TPC-H 测试上都刷新了世界纪录。

    5.6K50

    Chat with Milvus #11 回顾- 分布式数据库与Milvus分布式

    本期的 Milvus 线上问答由我们 15 年经验的数据库专家-顾老师，带你总结主流数据库的发展与未来方向。...视频中我们分析了传统数据库的架构，挑战&解法、分布式数据库的优势与劣势，最后带出了我们对 Milvus 分布式的看法与规划。...视频中我们介绍了像是 AWS Aurora、PingCAP 与分布式数据库中间件 ShardingSphere 这些热门的技术，想了解数据库前世今生的你务必点开?的视频！ ?...后期如果整个架构改的话，可能也是可以基于你们再去做的。 顾老师 @ Milvus： 所以他是把音频内容先转成个文本，再去抽取向量？ Attendee A： 对，先做这种指纹之后再做向量的计算。...github.com/milvus-io/milvus | 源码 milvus.io | 官网 milvusio.slack.com | Slack 社区 zhihu.com/org/zilliz-11

    78320

    (二) MdbCluster分布式内存数据库——分布式架构1

    (二) MdbCluster分布式内存数据库——分布式架构1 　　分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。...本文试图总结这一年来我们交的经验税，来详细阐述那些看似简单架构设计背后的复杂细节。 　　...接我们上一章单节点的架构图，两个节点的架构图如下： 　　MdbClient与每个节点的MdbAgent建立连接，但只与Master节点进行业务通讯。...这个架构本身很简单，几乎可以从1-N无限复制，是一个完全的分布式架构，无单点故障。下面我们通过假设读者的问题，来一步步的介绍整个架构。 　　1. 数据是根据什么策略来进行分片的? 　　2.

    2.1K30

    搭建“双11”大型网站架构必须掌握的 5 个核心知识

    每年电商双11大促对背后技术人都是一次大考，阿里数据库团队表示。经过9年的发展，双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿，秒级交易创建峰值达到了32.5万笔/秒。...二、分布式架构 随着业务越来越复杂，数据量越来越大，并发量越来越大，单体的架构模式显然再也无法对应，作为Java后端架构师，高并发+高可用+海量数据的分布式架构体系，是必不可少的： 分布式架构原理 分布式架构策略...分布式中间件 分布式架构实战 ?...画外音： 这些分布式理论，是不是感觉零零星星的听过 三、微服务技术体系 服务分层，微服务架构是架构升级的必由之路，Java技术体系，和微服务相关的技术有哪需要深入学习呢？...五、典型业务实战 阅读完Java源码，学习完分布式与微服务架构体系，掌握了性能调优的方法，仅仅做一个ppt架构师怎么行？

    1.4K10

    搭建“双11”大型网站架构必须掌握的 5 个核心知识

    每年电商双11大促对背后技术人都是一次大考，阿里数据库团队表示。经过9年的发展，双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿，秒级交易创建峰值达到了32.5万笔/秒。...二、分布式架构 随着业务越来越复杂，数据量越来越大，并发量越来越大，单体的架构模式显然再也无法对应，作为Java后端架构师，高并发+高可用+海量数据的分布式架构体系，是必不可少的： 分布式架构原理 分布式架构策略...分布式中间件 分布式架构实战 ?...画外音： 这些分布式理论，是不是感觉零零星星的听过 三、微服务技术体系 服务分层，微服务架构是架构升级的必由之路，Java技术体系，和微服务相关的技术有哪需要深入学习呢？...五、典型业务实战 阅读完Java源码，学习完分布式与微服务架构体系，掌握了性能调优的方法，仅仅做一个ppt架构师怎么行？

    1.2K40

    搭建“双11”大型网站架构必须掌握的 5 个核心知识

    每年电商双11大促对背后技术人都是一次大考，阿里数据库团队表示。经过9年的发展，双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿，秒级交易创建峰值达到了32.5万笔/秒。...二、分布式架构 随着业务越来越复杂，数据量越来越大，并发量越来越大，单体的架构模式显然再也无法对应，作为Java后端架构师，高并发+高可用+海量数据的分布式架构体系，是必不可少的： 分布式架构原理 分布式架构策略...分布式中间件 分布式架构实战 ?...画外音： 这些分布式理论，是不是感觉零零星星的听过 三、微服务技术体系 服务分层，微服务架构是架构升级的必由之路，Java技术体系，和微服务相关的技术有哪需要深入学习呢？...五、典型业务实战 阅读完Java源码，学习完分布式与微服务架构体系，掌握了性能调优的方法，仅仅做一个ppt架构师怎么行？

    1.3K40

    MyCat 启蒙：分布式系统的数据库架构演变单数据库架构主从数据库架构垂直切分数据库架构水平切分数据库架构总结

    此时常见的做法是把项目进行分布式部署，分散单台服务器的流量，从而可以暂时缓解用户增长带来的应用服务器压力。此时的项目架构图如下所示： ?...分布式部署-单数据库架构 但随着我们部署的应用服务器越来越多，后端的单台数据库服务器已经无法承受如此巨大的流量了。...分布式部署-缓存-单数据库架构 但是增加数据库缓存层只能缓解数据库访问压力，拦截部分数据库访问请求。随着用户访问量的进一步增长，数据库访问的瓶颈还是会进一步凸显。...水平切分数据库架构 当数据库架构经历了主从架构、垂直拆分架构之后，应对一般的业务读写是没有什么问题了。但对于一些核心的业务数据，可能还是会有瓶颈问题，例如用户模块。...推荐一个交流学习裙：69---7-57-9-7-5-1 里面会分享一些资深架构师录制的视频录像：有Spring，MyBatis，Netty源码分析，高并发、高性能、分布式、微服务架构的原理，JVM性能优化这些成为架构师必备的知识体系

    2.5K80

    迎接双11，深度剖析高并发数据库Sharding的道与术

    迎接双11，高并发数据库设计，文末有福利~~ 01、为什么讨论分库分表之道？...1970年后关系型数据库兴起，那时候搞关系型数据库的公司，就像现在专门做NewSQL的数据库那么的酷。Oracle 是关系型数据库最终的胜利者。...为什么现在会有数据库瓶颈的问题，在我看来就是，单机的到计算瓶颈了，计算的部分可以快速转向分布式、大规模的集群。而数据库存储做集群的方式很难。...作为代价来说，外置的索引会比内置的索引相对慢些，这是在系统架构上需要注意的地方。但是作为大原则，尽量把计算逻辑放置在索引外进行。 06、如何保障一致性？...通过柔性分布式事务的方式来实现最终一致性，方式就是外置检查，某一动作失败时，往前回滚，不一定完全回滚数据状态，回滚到不影响发生其它业务逻辑的业务状态。

    4.5K40

    YashanDB数据库的分布式架构优势分析

    在现代数据驱动的应用场景中，如何实现数据库的高效查询和数据处理能力成为关键技术挑战。尤其是在面对海量数据和高并发需求时，传统单节点数据库架构难以满足性能和扩展性要求。...分布式数据库架构通过水平分片、多节点并行处理以及高可用保障，有效缓解了上述问题。本文将围绕YashanDB的分布式架构设计，详细解析其技术实现与架构优势，帮助数据库开发者和运维人员深入理解其核心能力。...YashanDB的分布式部署架构原理YashanDB的分布式部署基于Shared-Nothing架构设计，系统由三类主要节点构成：管理节点(MN Group)、协调节点(CN Group)和数据节点(DN...结论随着数据规模和业务复杂性的不断增长，分布式数据库架构正成为企业数据管理的主流方案。YashanDB分布式架构利用Shared-Nothing设计，有效实现了系统的线性扩展能力和高可用保障。...未来，随着云环境和混合部署的普及，YashanDB分布式技术将持续适应多样化业务场景，助力企业构建稳定、灵活且高效的数据平台。持续的技术积累与创新，将进一步推动数据库核心竞争力提升。

    33610

    腾讯云2024双11大促：数据库智能管家 DBbrain最佳实践

    引言 腾讯云2024双11大促已正式开始，在这场活动中，腾讯云为用户带来了超值福利，其中云服务器CVM成为企业和个人用户部署应用、存储数据、处理信息的首选方案，其高效、灵活、可扩展的特性极大地促进了业务的快速发展...本文将详细介绍在腾讯云2024双11活动中，基于腾讯云CVM云服务器部署MySQL数据库，并搭配使用数据库智能管家产品的最佳实践，构建高效稳定的数据库运维体系。...一、活动时间及参与方式 活动时间：2024年11月1日 至 2024年11月30日23:59:59。...同时腾讯云2024双11大促还有首单特惠、买赠专区等活动。...通过合理的配置，用户可以最大化地发挥数据库智能管家 DBbrain 的功能，提高数据库的稳定性和性能。 腾讯云2024年双十一活动提供了多重优惠，助力用户以更低成本享受高质量云服务。

    16.8K21

    SpringBoot构建双11商品服务系统：亿级流量下的高可用架构实战

    《SpringBoot构建双11商品服务系统：亿级流量下的高可用架构实战》引言：当"秒杀"成为常态双11的零点峰值，商品服务系统（Item Service）承受着每秒数十万次的查询（QPS）和数万次的写入...这不再是简单的"查数据库返回JSON"，而是分布式系统中数据一致性、缓存抗量与熔断降级的极限博弈。...在双11场景下，我们需要区分基本信息（标题、图文详情）、价格库存（实时变动）、扩展属性（规格参数）以及预售/活动标识。1.1 数据库分库分表策略单一MySQL库绝对无法承受双11流量。...流量是瞬间爆发的，即便架构再优秀，也必须具备优雅降级能力。...结语：稳定是双11的最高优先级通过SpringBoot及其生态构建的双11商品服务系统，本质上是一套"有损服务"哲学的实现。

    10910

    腾讯云分布式数据库 DCDB 架构解密

    腾讯云分布式数据库是一个适用于OLTP场景且与MySQL 5.5 、5.6兼容的分布式关系型数据库。...下面主要介绍TDSQL的核心架构和应用场景。...在后续两年时间，陆续支撑米大师（Midas）、微众银行（WeBank）等多个兄弟业务的上线，并针对银行场景的数据关系模型设计了关系紧密的数据聚合，同时将跨节点的分布式架构转换扩展到单机架构，有效的覆盖了大中小多层次的用户...2017年，腾讯云CDB for TDSQL更名为CDB for MariaDB，同时正式推出分布式数据库DCDB 架构： 系统由三个模块组成：Scheduler、Agent、网关，三个模块的信息交换都是通过...分布式数据库的未来规划 DCDB支持小表广播、分布式事务等 DCDB支持复杂查询

    4.9K10
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券