首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

淘宝应对11技术架构分析

11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料:   淘宝海量数据产品技术架构   数据产品的一个最大特点是数据的非实时写入,正因为如此...图1 淘宝海量数据产品技术架构   按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。...以上是淘宝海量数据产品在技术架构方面的一个概括性的介绍,接下来我将重点从四个方面阐述数据魔方设计上的特点。   ...图8 glider的技术架构   有经验的读者一定可以想到,从本质上来讲,这就是广义上的异构“表”之间的JOIN操作。那么,谁来负责这个事情呢?...我相信,过不了几年,淘宝数据产品的技术架构一定会是另外的样子。 其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。

2.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

首次揭秘1112背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...在 11 12,这种方式的弊端会被进一步放大。数据显示,在 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...写在最后 11 12 背后的数据库技术支持远不止于此。一个订单达成交易的背后,数据库层面有近 50 次请求的实现,远不是一款单一的数据库产品提供的支持。

31.6K50

揭秘:2018阿里11秒杀背后的技术

在今天 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下11天量交易额背后的技术。 一、阿里11秒杀场景 ?...二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起11交易下单峰值,解放资源的超大规模Docker化技术。 4....总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术技术领域。...由于篇幅有限无法完全详细展开,我就以其中一个大家最关心的11秒杀场景为例,贯穿这些部分技术的应用和设计思路。

4.6K30

阿里11技术总指挥汤兴:淘宝确实变了

鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 总交易额达4982亿元。 订单创建峰值58.3万笔/秒。 这是今年阿里11创下的新纪录。...对于背后支撑的淘系技术体系来说,也是新的技术峰值。 在应对并发流量和系统稳定性上,目前行业内就只剩下淘系自己和自己赛跑。 无需多少个突发头条,每年11,就是新的大考。...消费者在线上已经不单是“买买买”,而是有了更多“边逛边”的决策行为。 在阿里巴巴集团副总裁、11技术总指挥汤兴(花名平畴)看来,这种消费者选择商品的路径的变化,正在带来更本质的影响。...对于了解流量并发和技术压力的工程师来说,难度是不言自明的。 究竟是怎样的技术挑战? 这样一道内外变化带来的难题,即使对于经历过1111的阿里而言,同样挑战不小。...因为只有经过11这样一个爆发点的验证,才能证明技术对于消费者的价值,证明其大规模应用的可能。

2.4K20

“天猫11”背后的流量治理技术与标准实践

作者 | 赵奕豪 (宿何):Sentinel & OpenSergo 开源项目负责人 一年一度的天猫 11 正在火热进行中,大家在疯狂买买买的过程中一定会有疑问:如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定...这背后的技术原理是怎样的,有没有一些最佳实践与标准?这篇文章就为大家介绍如何结合 Sentinel 与 OpenSergo 玩转双十一背后的流量治理技术与标准。 1 OpenSergo 是什么?...Sentinel 在内部承载非常多的服务可用性与容错的场景,保障了近十年天猫 11 流量峰值的稳定。...如果您有时间,有热情,有意愿,欢迎联系社区加入开源贡献小组,一起共同完善 OpenSergo 和 Sentinel,一起主导微服务治理技术与标准演进。Now let's start hacking!

74920

京东商品详情页应对“11”大流量的技术实践

【编者按】此文是根据京东资深Java工程师张开涛11月21日在msup主办的 into100沙龙第14期《京东商品详情页应对大流量的一些实践》演讲中的分享内容整理而成。...最早期的时候,我们商品详情页采用.NET技术,但是随着商品数量增加,而且随着商品数据库结构设计复杂性的变化,后来我们就生成了静态页,通过JAVA生成页面的片段,像商品介绍等等,都是通过一个一个片段输送出去的...如果我们能够及早发现这个问题,进行预案处理,比如降级,如库存出问题了,让我们第一时间知道,我们可以降级为全部有货,让大家都有货可,这就形成了服务闭环。...工作之余喜欢写技术博客,有《跟我学 Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程,目前博客访问量有460万+。 ?

1.6K100

11在即,分享一些稳定性保障技术干货

每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。...我作为会议主持人,也和这些技术大牛交流了很多案例经验,从他们身上汲取了很多新的思路和技术实践。我将其中一些比较干货的技术实践案例整理了出来,供大家学习参考下。...+写操作不刷盘方式; 非交易业务的查询放在备库,降低主库压力; 梳理落地SOP机制,遇到问题时首先快速线上止血,解决故障; 存在主备延迟情况,可以开启参数调整方式来处理(临时开启,快启快关) ; 同城活架构下...,可通过定时任务的方式自动检测MySQL的0模式,定时改写数据; 高并发下MySQL主库往往写压力比较大,事务日志和binlog IO比较频繁,导致备库拉取binlog比较卡,较好的方式是通过降级延时方式做数据同步

2.7K20

助力 11 个性化会场高效交付:Deco 智能代码技术揭秘

Tech 导读 在这次11的个性化会场我们大规模使用Deco进行研发,带来了48%左右的效率提升,本文将为大家揭秘Deco提效之秘。...Deco 经过 618 大促的初步验证,随后不断升级打磨,在正在火热进行的 11 个性化会场研发中已经广泛投入使用,覆盖 90% 左右的大促楼层模块,为业务研发带来 48% 左右的效率提升。...图3 11部分个性化会场及模块 03如何实现一个设计稿生成代码方案 1、生成静态代码 设计稿智能生成代码的第一步是生成静态化的代码,而这一步的核心是如何根据设计稿生成一份「结构化的数据描述」信息,这份数据称为...「结构化的数据描述」; 将「结构化的数据描述」表达成代码; 本质上,Deco 智能代码是通过设计工具插件从视觉稿原始信息中提取 D2C Schema,然后结合规则系统、计算机视觉、智能布局、深度学习等技术对...路漫漫其修远兮,需要技术人上下而求索。

3.1K20

历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼。...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

2.4K10

历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

作者|风胜 来源|阿里技术 淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

3.1K20

11家跨国顶尖银行正在探索利用量子计算技术,值得关注!

本文列出 全球11家开展量子技术研究和应用的主要银行,无论这些项目是处于早期阶段还是全面的计划。这些银行来自美国、加拿大、英国以及日本。 1....意识到量子计算 (QC) 对于银行业的用例很重要,银行建立了一个量子工程团队,由 Marco Pistoia 负责量子技术。...该银行非常热衷于开发可用于人工智能、优化和密码学的量子算法,于 2020 年开始与名为 Chicago Quantum Exchange的量子技术中心合作,这是一个量子技术中心,并表示其研究团队“正在积极研究后量子密码学领域...早在 2019 年,富国银行的技术主管 Saul Van Beurden 通过与 IBM 和麻省理工学院签署协议,在量子计算和人工智能技术方面进行合作,开始了该银行的量子计算风险投资。...11. 高盛 高盛集团 (Goldman Sachs Group, Inc.)是量子技术的备受瞩目的采用者之一,是一家总部位于纽约市的美国跨国投资银行和金融服务公司。

2.3K20

今年天猫11的这些技术,可能会改变整个零售行业

11清单》等节目,涉及美妆、美食、海外、综艺等主题,会有数百位网红和明星参与,不乏Papi酱这样的超级网红,且这些直播并非由天猫独立组织,而是品牌商共同参与,会邀请许多品牌代言明星来做直播。...5、个性化定制技术实现按需生产 个性化是今年天猫11的重点。...“为每个消费者打造属于自己的11”,是天猫11个性化技术的目标。 ? 个性化界面将会在双十一结束时关闭,但我认为个性化购物将是未来的方向。...因此,个性化技术已不能缺席电商平台,事实上京东也表示将会在11主打个性化,个性化将是继移动化之后,电商的一个核心技术演进方向。...而天猫11今年的首要方向就是全球化,与之前的全球化不同的是,不只是帮助中国用户全球,还有帮助中国商家卖全球,今年天猫11启动仪式选择在中国香港召开,就是为了展现出全球化的姿态,中国香港和中国台湾也是今年天猫

5.8K90

天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术

11 月 1 日零点至 1111 日零点 30 分,今年整个双十一成交额破 3723 亿,实时成交额超过 1 亿元的品牌超过 300 个。 这是今年阿里交出的双十一成绩单。...其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...今年 11,阿里云数据中心的巡检机器人「天巡」升级到了第二代,不仅实现了无「人」值守,还可全自动更换故障硬盘:自动巡检——故障盘定位——取盘换盘——硬盘通电,整个动作一气呵成,只需 4 分钟即可完成更换动作...今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

8.1K10

618大促序曲 | 爆款新书,搭配200份隐藏福利,超值!

ATF8PV(当当20元优惠码) 当当每满100-50 再叠加20元优惠码 实付100可用  花80元原价200元的书 使用时间:5.25-6.3 数量有限,先就是赚到!...如果你不知道最近有哪些好书值得,那就看看下面这几本吧,贴心的博文菌已经为你整理好了一份近期值得的爆款新书书单,快来看看吧!...06 ▊《代码的艺术:用工程思维驱动软件开发(色精装版)》 章淼  著 提升软件工程能力大成之作 涵盖代码、文档、项目管理和实际案例解剖 百度技术学院【官方用书】 清华、IT名企精品课指定用书 附配套教学视频...全球许多高校都使用该书作为量子计算课程的教材 本书介绍了量子计算和量子信息领域的主要思想和技术。...年薪80W,在大厂呆了10年的我,被裁得心服口服 大前端技术的边界在哪里? 百度工程能力金牌课首次免费公开,连播9天!

1.6K10

11 第 14 年,技术人的新命题是什么?| 专访淘宝天猫 CTO 若海

今天, 11 更像一个大型天文望远镜,透过 11,去探索与验证未来的技术与系统架构趋势、未来的商业与用户体验。”...在阿里 11 的第十四个年头,InfoQ 有幸专访到了淘宝天猫 CTO 余刚(花名:若海),一起聊聊他眼中今年 11技术看点与未来布局。 11 第 14 年,技术团队的新命题到底是什么?...若海还表示,未来希望技术能打破惯性,给业务带来更大可能的同时,也为技术自身的发展带来新的挑战和机会,这是这个阶段的 11 带来的新挑战。...再结合今年 6·18 的经验,整个 11 顺利完成了从零点支付到八点的切换,很好应对了技术挑战。...在这样的技术布局之下,我们已经看到了淘宝技术团队在提升消费者体验上的决心与投入,明年的天猫 11 将会呈现怎样的新变化,值得我们共同期待。

94120

OPPO R15来了,网友:刚买了R11s,就出R15,你觉得我还会吗?

配备了后置摄像头,而前置摄像头依旧采用了到 2000万像素。...搭配6GB内存、128GB机身存储,内置3450mAh容量电池,支持VOOC闪充技术。前置2000万像素镜头,3-HDR硬件实时分级曝光技术,大幅提升逆光自拍效果。...所有的钱都用来给明星代言费,试问你的手机研究经费能高到哪里?质量?这种机子我们业内叫它“一次性手机”。 网友:有些人能别觉得自己最清醒吗?...大家还是参考下值不值得 好了 才几个月研制的新机 也不会有太大突破。所以还是会有很多追星族,义无反顾的的。才刚r11s,反正买不起!...人家在时代前沿,而你却在科技后沿,技术不够,实力来凑?哪儿来的自信?我就想知道设计师用什么手机?我是oppo粉,我很期待R15,但是我特别愤怒找那么多代言,不是直接告诉了我们机子等于直接养明星!!!

10.5K70

实现500公里量级现场光纤量子通信

网友看到后不禁感叹: 潘建伟团队不愧是量子通信领头羊! ? 远距离、无中继 说了这么多,这项研究到底厉害在哪里呢?...在这样的情况下,研究人员使用了一种名为量子密钥分发(Twin-Field QKD,TF-QKD)的新型技术。...为此,潘建伟团队在连接山东济南与青岛的“济青干线”现场光缆上,基于王向斌提出的SNS-TF-QKD(“发送-不发送”量子密钥分发)协议,发展了时频传输技术和激光注入锁定技术,将现场相隔几百公里的两个独立激光器的波长锁定为相同...张强,中国科学技术大学合肥微尺度物质科学国家实验室教授,济南量子技术研究院执行院长。 研究领域为量子密码和量子通信实验研究,核心器件研制和时间频率传输。 ?...去年,济南量子技术研究院率先实现了509公里真实环境光纤的量子密钥分发。

43210
领券