首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

淘宝应对11技术架构分析

11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料:   淘宝海量数据产品技术架构   数据产品的一个最大特点是数据的非实时写入,正因为如此...图1 淘宝海量数据产品技术架构   按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。...以上是淘宝海量数据产品在技术架构方面的一个概括性的介绍,接下来我将重点从四个方面阐述数据魔方设计上的特点。   ...图8 glider的技术架构   有经验的读者一定可以想到,从本质上来讲,这就是广义上的异构“表”之间的JOIN操作。那么,谁来负责这个事情呢?...我相信,过不了几年,淘宝数据产品的技术架构一定会是另外的样子。 其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。

2.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

首次揭秘1112背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...在 11 12,这种方式的弊端会被进一步放大。数据显示,在 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...写在最后 11 12 背后的数据库技术支持远不止于此。一个订单达成交易的背后,数据库层面有近 50 次请求的实现,远不是一款单一的数据库产品提供的支持。

31.6K50

揭秘:2018阿里11秒杀背后的技术

在今天 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下11天量交易额背后的技术。 一、阿里11秒杀场景 ?...二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起11交易下单峰值,解放资源的超大规模Docker化技术。 4....总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术技术领域。...由于篇幅有限无法完全详细展开,我就以其中一个大家最关心的11秒杀场景为例,贯穿这些部分技术的应用和设计思路。

4.6K30

阿里11技术总指挥汤兴:淘宝确实变了

这是今年阿里11创下的新纪录。 对于背后支撑的淘系技术体系来说,也是新的技术峰值。 在应对并发流量和系统稳定性上,目前行业内就只剩下淘系自己和自己赛跑。...消费者在线上已经不单是“买买买”,而是有了更多“边逛边”的决策行为。 在阿里巴巴集团副总裁、11技术总指挥汤兴(花名平畴)看来,这种消费者选择商品的路径的变化,正在带来更本质的影响。...对于了解流量并发和技术压力的工程师来说,难度是不言自明的。 究竟是怎样的技术挑战? 这样一道内外变化带来的难题,即使对于经历过1111的阿里而言,同样挑战不小。...还有线上试鞋、试口红、试美甲、染发等等全新AR体验…… 汤兴表示,阿里有个传统,所有新技术都需要经历11的考验。...因为只有经过11这样一个爆发点的验证,才能证明技术对于消费者的价值,证明其大规模应用的可能。

2.4K20

“天猫11”背后的流量治理技术与标准实践

作者 | 赵奕豪 (宿何):Sentinel & OpenSergo 开源项目负责人 一年一度的天猫 11 正在火热进行中,大家在疯狂买买买的过程中一定会有疑问:如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定...这背后的技术原理是怎样的,有没有一些最佳实践与标准?这篇文章就为大家介绍如何结合 Sentinel 与 OpenSergo 玩转双十一背后的流量治理技术与标准。 1 OpenSergo 是什么?...Sentinel 在内部承载非常多的服务可用性与容错的场景,保障了近十年天猫 11 流量峰值的稳定。...如果您有时间,有热情,有意愿,欢迎联系社区加入开源贡献小组,一起共同完善 OpenSergo 和 Sentinel,一起主导微服务治理技术与标准演进。Now let's start hacking!

75320

京东商品详情页应对“11”大流量的技术实践

【编者按】此文是根据京东资深Java工程师张开涛11月21日在msup主办的 into100沙龙第14期《京东商品详情页应对大流量的一些实践》演讲中的分享内容整理而成。...最早期的时候,我们商品详情页采用.NET技术,但是随着商品数量增加,而且随着商品数据库结构设计复杂性的变化,后来我们就生成了静态页,通过JAVA生成页面的片段,像商品介绍等等,都是通过一个一个片段输送出去的...如果我们能够及早发现这个问题,进行预案处理,比如降级,如库存出问题了,让我们第一时间知道,我们可以降级为全部有货,让大家都有货可,这就形成了服务闭环。...工作之余喜欢写技术博客,有《跟我学 Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程,目前博客访问量有460万+。 ?

1.6K100

技术种草】工作了17年,2021年11是我见过有史以来“撸腾讯云羊毛”最狠的一次!

如果你想了,那么请继续往下看,经过我对比的三大云服务厂商的11优惠政策,带你拿下最爽的服务器!!!!! 为什么今年要撸腾讯云的羊毛呢?...先来对比一下我们比较熟悉的阿里云、腾讯云、华为云三大云的11活动的优惠力度: 1、阿里云: [image-20211107223313296.png] 2、华为云: [image-20211107223854552...[image-20211108202030045.png] 我买了3年还不到200呢: 如果你购买了3年,那每年就相等于66元了,你看我买了3年,才198元,买一年,真不如3年划算。...[image-20211108202239682.png] 对了,腾讯云的这个2核4G的服务器,是我见过全网本次11优惠力度最大的一家了。 大力推荐哦!!!...小窍门:针对老用户,这个地方我有一个小招,还是从我朋友那里学来的,上一个11,他在腾讯云领了价值万元的卷,然后节省了1万多。厉害吧。

49.4K30

11在即,分享一些稳定性保障技术干货

每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。...我作为会议主持人,也和这些技术大牛交流了很多案例经验,从他们身上汲取了很多新的思路和技术实践。我将其中一些比较干货的技术实践案例整理了出来,供大家学习参考下。...+写操作不刷盘方式; 非交易业务的查询放在备库,降低主库压力; 梳理落地SOP机制,遇到问题时首先快速线上止血,解决故障; 存在主备延迟情况,可以开启参数调整方式来处理(临时开启,快启快关) ; 同城活架构下...,可通过定时任务的方式自动检测MySQL的0模式,定时改写数据; 高并发下MySQL主库往往写压力比较大,事务日志和binlog IO比较频繁,导致备库拉取binlog比较卡,较好的方式是通过降级延时方式做数据同步

2.7K20

助力 11 个性化会场高效交付:Deco 智能代码技术揭秘

Tech 导读 在这次11的个性化会场我们大规模使用Deco进行研发,带来了48%左右的效率提升,本文将为大家揭秘Deco提效之秘。...Deco 经过 618 大促的初步验证,随后不断升级打磨,在正在火热进行的 11 个性化会场研发中已经广泛投入使用,覆盖 90% 左右的大促楼层模块,为业务研发带来 48% 左右的效率提升。...图3 11部分个性化会场及模块 03如何实现一个设计稿生成代码方案 1、生成静态代码 设计稿智能生成代码的第一步是生成静态化的代码,而这一步的核心是如何根据设计稿生成一份「结构化的数据描述」信息,这份数据称为...「结构化的数据描述」; 将「结构化的数据描述」表达成代码; 本质上,Deco 智能代码是通过设计工具插件从视觉稿原始信息中提取 D2C Schema,然后结合规则系统、计算机视觉、智能布局、深度学习等技术对...路漫漫其修远兮,需要技术人上下而求索。

3.1K20

历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼。...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

2.4K10

历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

作者|风胜 来源|阿里技术 淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

3.1K20

都是因为数学不好,美国人不敢吃中餐,中国人不敢过双十一

那么问题来了: 这鸡翅到底怎么划算啊? ? 这个问题也把众多歪果网友难倒了,他们纷纷转发集思广益…目前这条帖子已经被转发了将近6千次。 ?...一个学霸找到了最优方案: 25只以下,就3的倍数只;25只及以上,就25、50或125只,这样的话每只鸡翅的均价都是最低。 ?...11——继高考之后规模最大的数学知识竞赛: 定金100抵200;2件9折,3件8折;抢券满399减100;原价1395,预售价509,领券立减30元;跨店优惠券满200减20……废了九牛二虎之力,好不容易算出了满...399减100最划算,最后你居然告诉我那件衣服卖398?...人这一生走过最艰险的路,就是11网店商家的促销套路,让你们一个个成天不知道好好学习,终于被绕晕了吧?被搞死了吧? ?

11.9K30

11 特供!临战前收下这几款小程序,分分钟省下一个亿

不买便宜的,只对的 当降价,刷口碑,各种眼花缭乱的宣传扑面而来时,会被太多信息淹没。小程序「什么值得」帮你从众多选择中过滤,做出有价值的消费。前看一看,无论在哪里下单,都可以当作参考。...时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选 11 购指南,实实在在的干货贴。...「什么值得」小程序使用链接 https://minapp.com/miniapp/4724/ 不得不说,这款小程序在前的确是个实用的工具。 放宽心,不纠结 有这样一句话是:成大事者不纠结。...那么问题来了,费心挑了不少优价好物,怎么才能最划算,对得起节日做活动的优惠? 「消费分期计算器」这款小程序就是帮你理性消费的高效工具。算计好,省下一波可以再买买买。

56.8K40

今年天猫11的这些技术,可能会改变整个零售行业

11清单》等节目,涉及美妆、美食、海外、综艺等主题,会有数百位网红和明星参与,不乏Papi酱这样的超级网红,且这些直播并非由天猫独立组织,而是品牌商共同参与,会邀请许多品牌代言明星来做直播。...5、个性化定制技术实现按需生产 个性化是今年天猫11的重点。...“为每个消费者打造属于自己的11”,是天猫11个性化技术的目标。 ? 个性化界面将会在双十一结束时关闭,但我认为个性化购物将是未来的方向。...因此,个性化技术已不能缺席电商平台,事实上京东也表示将会在11主打个性化,个性化将是继移动化之后,电商的一个核心技术演进方向。...而天猫11今年的首要方向就是全球化,与之前的全球化不同的是,不只是帮助中国用户全球,还有帮助中国商家卖全球,今年天猫11启动仪式选择在中国香港召开,就是为了展现出全球化的姿态,中国香港和中国台湾也是今年天猫

5.8K90

天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术

其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...今年 11,阿里云数据中心的巡检机器人「天巡」升级到了第二代,不仅实现了无「人」值守,还可全自动更换故障硬盘:自动巡检——故障盘定位——取盘换盘——硬盘通电,整个动作一气呵成,只需 4 分钟即可完成更换动作...今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。...比如,在搜索层面阿里实现了语音、图片、文本、短视频等的「万物可搜」。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

8.1K10

讯飞翻译笔s11,学生们的新福利

而从整个行业来看,智能教育硬件的兴起,离不开技术、市场、资本等多方力量的催化。 首先,AI、语音识别、大数据、交互技术等相关技术的成熟应用,为教育硬件的智能化升级奠定了基础。...同时,不少硬件产品只能在有网的环境下进行,在没有网络的时候就用不了,这让很多用户觉得购买智能硬件并不划算。 其二,是技术实力不足、交互体验差。...比如,很多用户硬件,就是希望获得免费丰富的内容资源。...另外,S11支持S10并不具备的听力素材自主导入播放功能,全新升级的牛津高阶英汉双解词典也将为S11所独有,这无疑将大大提升其专业能力。 此外,S11还在很多产品细节上用足了心思。...在国家推动普惠教育和“减”政策落地的大背景下,拥有强大技术背景和深厚教育积淀的科大讯飞,有望通过AI+智能硬件为国家推动智慧教育的全面到来做出更多贡献。

4.1K40

即日起至11月30日,直播点播多款爆品,5折起售~

一年一度11,今年又有什么不同?...10月30日,2020腾讯云11.11云上盛惠活动正式上线,视频云直播&云点播作为腾讯云明星产品线,以空前的折扣力度回馈音视频开发者,那到底哪款产品适合我,到底怎么划算?...云产品会场 | 视频云专区 一图看懂所有的点播直播赠惊喜 看完上图如果你还选择困难,小编再帮你划重点: 云直播流量包,!...云点播流量包&存储包,!...视频云直播间优惠预告,11在售单品最高再降499元,更有100GB流量包6.6元限时秒杀。前10名下单用户还有机会赢499元富士相机哦~看直播还能参与3轮答题抽奖,腾讯定制公仔及QQ音箱带回家!

41.9K20
领券