首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

淘宝应对双11的技术架构分析

双“11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料:   淘宝海量数据产品技术架构   数据产品的一个最大特点是数据的非实时写入,正因为如此...图1 淘宝海量数据产品技术架构   按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。...以上是淘宝海量数据产品在技术架构方面的一个概括性的介绍,接下来我将重点从四个方面阐述数据魔方设计上的特点。   ...图8 glider的技术架构   有经验的读者一定可以想到,从本质上来讲,这就是广义上的异构“表”之间的JOIN操作。那么,谁来负责这个事情呢?...我相信,过不了几年,淘宝数据产品的技术架构一定会是另外的样子。 其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。

2.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    首次揭秘双11双12背后的云数据库技术!| Q推荐

    从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...写在最后 双 11 双 12 背后的数据库技术支持远不止于此。一个订单达成交易的背后,数据库层面有近 50 次请求的实现,远不是一款单一的数据库产品提供的支持。

    31.8K50

    揭秘:2018阿里双11秒杀背后的技术

    在今天双 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下双11天量交易额背后的技术。 一、阿里双11秒杀场景 ?...二、阿里双11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在双11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起双11交易下单峰值,解放资源的超大规模Docker化技术。 4....总之,双11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...由于篇幅有限无法完全详细展开,我就以其中一个大家最关心的双11秒杀场景为例,贯穿这些部分技术的应用和设计思路。

    4.7K30

    阿里双11技术总指挥汤兴:淘宝确实变了

    鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 总交易额达4982亿元。 订单创建峰值58.3万笔/秒。 这是今年阿里双11创下的新纪录。...对于背后支撑的淘系技术体系来说,也是新的技术峰值。 在应对并发流量和系统稳定性上,目前行业内就只剩下淘系自己和自己赛跑。 无需多少个突发头条,每年双11,就是新的大考。...对于了解流量并发和技术压力的工程师来说,难度是不言自明的。 究竟是怎样的技术挑战? 这样一道内外变化带来的难题,即使对于经历过11次双11的阿里而言,同样挑战不小。...还有线上试鞋、试口红、试美甲、染发等等全新AR体验…… 汤兴表示,阿里有个传统,所有新技术都需要经历双11的考验。...因为只有经过双11这样一个爆发点的验证,才能证明技术对于消费者的价值,证明其大规模应用的可能。

    2.5K20

    直播继续搅局双11?

    天猫:王牌主播打头阵 作为双11赛场的擂主,天猫的双11筹备自然是最值得期待的,截至目前公布出的成绩,也能够看出其火热程度。10月20日晚8点,天猫双11正式开启预售。...这是天猫双11连续第2年降低满减门槛,消费者凑单将更容易。在监管大力整治垄断行为的背景下,各大平台都将刀刃对向自己,试图更加获得消费者的认可。 另一方面天猫也将绿色环保理念融入此次双11。...今年双11发布会上,天猫宣布将致力于打造一届“低碳双11”,同时将全面升级已诞生15年的公益宝贝项目。如今阿里已经成为互联网行业最大的绿色电力交易主体。...今年京东双11除了不熬夜外,优惠政策也迎来全面升级。...抖音双11好物节从10月15日就已经正式上线,一直持续到11月11号,活动也分为“好物提前买”和“天天抢好物”阶段,形式和花样可谓繁多,也和抖音的平台风格极为匹配。

    13.7K30

    “天猫双11”背后的流量治理技术与标准实践

    作者 | 赵奕豪 (宿何):Sentinel & OpenSergo 开源项目负责人 一年一度的天猫双 11 正在火热进行中,大家在疯狂买买买的过程中一定会有疑问:如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定...这背后的技术原理是怎样的,有没有一些最佳实践与标准?这篇文章就为大家介绍如何结合 Sentinel 与 OpenSergo 玩转双十一背后的流量治理技术与标准。 1 OpenSergo 是什么?...Sentinel 在内部承载非常多的服务可用性与容错的场景,保障了近十年天猫双 11 流量峰值的稳定。...如果您有时间,有热情,有意愿,欢迎联系社区加入开源贡献小组,一起共同完善 OpenSergo 和 Sentinel,一起主导微服务治理技术与标准演进。Now let's start hacking!

    80820

    今年双11,至关重要

    今年双11已经是第十四届了。...不仅如此,对于零售电商行业来说,一年一度的双11是练兵秀肌肉的最佳时机,不仅因为年终业绩冲刺,还因为双11的规模是一年之最,考验着电商平台的商家组织能力、营销创新、技术承压能力和履约服务的保障等每个方面...尤其是每年双11期间,作为唯一一个拥有真正双11购物心智的平台,淘宝天猫承载的绝非是卖货这么简单。...对于经常参与双11的知名品牌,能够在双11强化品牌认知;对于新参与的品牌(每年双11都有新参与的品牌,今年有7万个品牌是首次参加)和新品牌,能通过双11大促建立品牌心智。...目前看来,不仅是双11,在日常的经营中,作为中国最成熟、生态体系建设最完整、技术投入最大的电商平台,由于ROI(投产比)和销售效率更高、增长更为稳定和确定,淘宝天猫仍是商家们重点投入的平台。

    2.4K60

    双11在即,分享一些稳定性保障技术干货

    每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。...我作为会议主持人,也和这些技术大牛交流了很多案例经验,从他们身上汲取了很多新的思路和技术实践。我将其中一些比较干货的技术实践案例整理了出来,供大家学习参考下。...+写操作不刷盘方式; 非交易业务的查询放在备库,降低主库压力; 梳理落地SOP机制,遇到问题时首先快速线上止血,解决故障; 存在主备延迟情况,可以开启参数调整方式来处理(临时开启,快启快关) ; 同城双活架构下...,可通过定时任务的方式自动检测MySQL的双0模式,定时改写数据; 高并发下MySQL主库往往写压力比较大,事务日志和binlog IO比较频繁,导致备库拉取binlog比较卡,较好的方式是通过降级延时方式做数据同步

    2.9K20

    量子密钥分发技术介绍

    一、量子基本信息 1、量子概念 量子(Quantum)属于一个微观的物理概念。如果一个物理量存在最小的不可分割的基本单位,那么称这个物理量是可量子化的,并把物理量的基本单位称为量子。...量子不可克隆 量子不可克隆原理,即一个未知的量子态不能被完全地克隆。在量子力学中,不存在这样一个物理过程:实现对一个未知量子态的精确复制,使得每个复制态与初始量子态完全相同。...量子不可区分 量子不可区分原理,即不可能同时精确测量两个非正交量子态。事实上,由于非正交量子态具有不可区分性,无论采用任何测量方法,测量结果的都会有错误。...除此之外,还包括以下基本特性: 量子态叠加性(superposition) 量子状态可以叠加,因此量子信息也是可以叠加的。...六、量子密码术的安全性 1、如果成功生成了密钥,那么密文即使被截获了也不会被破译; 2、没有传递密钥的信使; 3、不会被计算技术的进步破解; 4、如果在密钥生成过程中有人窃听,那么会被通信方发现,仍然不会泄密

    4.3K41

    助力双 11 个性化会场高效交付:Deco 智能代码技术揭秘

    Tech 导读 在这次双11的个性化会场我们大规模使用Deco进行研发,带来了48%左右的效率提升,本文将为大家揭秘Deco提效之秘。...Deco 经过 618 大促的初步验证,随后不断升级打磨,在正在火热进行的双 11 个性化会场研发中已经广泛投入使用,覆盖 90% 左右的大促楼层模块,为业务研发带来 48% 左右的效率提升。...图3 双11部分个性化会场及模块 03如何实现一个设计稿生成代码方案 1、生成静态代码 设计稿智能生成代码的第一步是生成静态化的代码,而这一步的核心是如何根据设计稿生成一份「结构化的数据描述」信息,这份数据称为...「结构化的数据描述」; 将「结构化的数据描述」表达成代码; 本质上,Deco 智能代码是通过设计工具插件从视觉稿原始信息中提取 D2C Schema,然后结合规则系统、计算机视觉、智能布局、深度学习等技术对...路漫漫其修远兮,需要技术人上下而求索。

    3.1K20

    量子通讯加密技术的技术原理

    当你把视线关注到量子的运动轨迹,其状态就会随之发生。 3 什么是量子纠缠 以双粒子为例,一个粒子A可以处于某个物理量的叠加态,用一个量子比特来表示,同时另一个粒子B也可以处于叠加态。...当两个粒子发生纠缠,就会形成一个双粒子的叠加态,即纠缠态。...传统的信息技术扎根于经典物理学,一个比特在特定时刻只有特定的状态,要么0,要么1,所有的计算都按照经典的物理学规律进行。 量子信息扎根于量子物理学,一个量子比特(qubit)就是0和1的叠加态。...但是当我们需要传输量子比特时,就无法再使用量子密钥了,而需要使用“量子隐形传态”。 9 量子秘钥技术能保证数据的绝对安全吗? 我认为答案当然是否定的。...也就是说量子秘钥技术只能保证数据传输过程的安全性,对其他方面的安全性仍无法保证! 参考文献 独家揭秘:量子通信如何做到“绝对安全”?

    1.8K20

    历经8年双11流量洗礼,淘宝开放平台如何攻克技术难关?

    作者|风胜 来源|阿里技术 淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年双11成倍流量增长的洗礼...在双11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在双11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在双11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在双11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

    3.1K20

    历经8年双11流量洗礼,淘宝开放平台如何攻克技术难关?

    淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年双11成倍流量增长的洗礼。...在双11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在双11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在双11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在双11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

    2.4K10

    腾讯云双11活动企业云盘产品评测及优惠深度剖析

    本文旨在对腾讯云双11活动中的企业云盘产品进行全面评测,并深入剖析其优惠活动,以帮助企业用户更好地了解和使用该产品。...企业云盘采用了先进的分布式存储技术和加密技术,确保数据的安全性和可靠性。三、腾讯云双11活动企业云盘产品评测(一)性能评测在性能方面,腾讯云企业云盘表现出色。...四、腾讯云双11活动企业云盘优惠剖析(一)优惠活动概述腾讯云双11活动期间,企业云盘推出了多项优惠活动,旨在降低企业用户的成本和提高使用效率。具体包括限时折扣、免费试用、赠送代金券等优惠措施。...(三)优惠活动特点腾讯云双11活动企业云盘优惠活动具有以下特点:针对性强:优惠活动针对不同类型的企业用户提供了不同的优惠措施,满足了不同用户的需求。...十、腾讯云双11活动企业云盘优惠活动的意义腾讯云双11活动企业云盘优惠活动不仅为企业用户带来了实实在在的优惠和实惠,还提高了腾讯云企业云盘的市场知名度和竞争力。

    12910

    这11家跨国顶尖银行正在探索利用量子计算技术,值得关注!

    本文列出 全球11家开展量子技术研究和应用的主要银行,无论这些项目是处于早期阶段还是全面的计划。这些银行来自美国、加拿大、英国以及日本。 1....意识到量子计算 (QC) 对于银行业的用例很重要,银行建立了一个量子工程团队,由 Marco Pistoia 负责量子技术。...该银行非常热衷于开发可用于人工智能、优化和密码学的量子算法,于 2020 年开始与名为 Chicago Quantum Exchange的量子技术中心合作,这是一个量子技术中心,并表示其研究团队“正在积极研究后量子密码学领域...早在 2019 年,富国银行的技术主管 Saul Van Beurden 通过与 IBM 和麻省理工学院签署协议,在量子计算和人工智能技术方面进行合作,开始了该银行的量子计算风险投资。...11. 高盛 高盛集团 (Goldman Sachs Group, Inc.)是量子技术的备受瞩目的采用者之一,是一家总部位于纽约市的美国跨国投资银行和金融服务公司。

    2.6K20

    双11的解药在B端

    双11的解药在哪里,抑或是电商行业的解药在哪里,或许,早在新零售的概念被提出的那一刻开始就已经有了答案。 这个答案,就是B端。...当供求两端的角色开始发生改变,我们同样看到的是一场有关双11的嬗变开始出现,它让我们看到了双11新生的希望。从这个角度来看,双11的解药,同样在B端。 第四,一个大的市场正在B端打开。...无论是从B端市场的尚未被开垦,还是B端市场为我们展示出来的纵向上的巨大的想象力,我们都可以将B端市场作为一个解决双11痛点和难题的正确方式和方法。 表面狂热的背景下,透露出来的是双11的无限的焦虑。...纵然是有庞大的销量作为支撑,依然没有延缓人们对于双11的质疑与审视。 寻找破解双11困局的解药,成为每一个人都在思考的重要课题。...在那里,在B端市场上,或许,才有根治双11顽疾的灵丹妙药。

    1.7K30

    腾讯云双11最强攻略

    一年一度的双11又来啦,在各大购物平台买买买的同时,相信一定有需要云服务续费的小伙伴,腾讯云作为云服务的佼佼者当然也不会缺席。今年双11腾讯云同步开展了海量优惠活动,有需要的朋友一定要去了解一下。...商品可以在双11大促活动页面的各大会场中找到,包括:1、包年时长产品:a) 新购订单:订单时长需12个月及以上;b) 续费订单:订单时长需3个月及以上,EdgeOne续费订单时长需12个月及以上;2、资源包类产品...不含境外地域)、轻量对象存储、轻量云硬盘赠送3个月时长;其余产品赠送1个月时长;b)续费订单:云服务器、轻量应用服务器(不含境外地域)、轻量对象存储、轻量云硬盘续费12个月及以上赠送3个月时长,续费3~11...最后一定要注意,活动时间为11月1日至11月30日,成团后大约3~5分钟就会发放至账户,可前往订单管理及代金券列表中查看。

    14610
    领券