首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

淘宝应对11技术架构分析

11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料:   淘宝海量数据产品技术架构   数据产品的一个最大特点是数据的非实时写入,正因为如此...图1 淘宝海量数据产品技术架构   按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。...以上是淘宝海量数据产品在技术架构方面的一个概括性的介绍,接下来我将重点从四个方面阐述数据魔方设计上的特点。   ...图8 glider的技术架构   有经验的读者一定可以想到,从本质上来讲,这就是广义上的异构“表”之间的JOIN操作。那么,谁来负责这个事情呢?...我相信,过不了几年,淘宝数据产品的技术架构一定会是另外的样子。 其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。

2.6K20
您找到你想要的搜索结果了吗?
是的
没有找到

首次揭秘1112背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...在 11 12,这种方式的弊端会被进一步放大。数据显示,在 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...写在最后 11 12 背后的数据库技术支持远不止于此。一个订单达成交易的背后,数据库层面有近 50 次请求的实现,远不是一款单一的数据库产品提供的支持。

31.6K50

揭秘:2018阿里11秒杀背后的技术

在今天 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下11天量交易额背后的技术。 一、阿里11秒杀场景 ?...二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起11交易下单峰值,解放资源的超大规模Docker化技术。 4....总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术技术领域。...由于篇幅有限无法完全详细展开,我就以其中一个大家最关心的11秒杀场景为例,贯穿这些部分技术的应用和设计思路。

4.6K30

阿里11技术总指挥汤兴:淘宝确实变了

这是今年阿里11创下的新纪录。 对于背后支撑的淘系技术体系来说,也是新的技术峰值。 在应对并发流量和系统稳定性上,目前行业内就只剩下淘系自己和自己赛跑。...消费者在线上已经不单是“买买买”,而是有了更多“边逛边”的决策行为。 在阿里巴巴集团副总裁、11技术总指挥汤兴(花名平畴)看来,这种消费者选择商品的路径的变化,正在带来更本质的影响。...对于了解流量并发和技术压力的工程师来说,难度是不言自明的。 究竟是怎样的技术挑战? 这样一道内外变化带来的难题,即使对于经历过1111的阿里而言,同样挑战不小。...还有线上试鞋、试口红、试美甲、染发等等全新AR体验…… 汤兴表示,阿里有个传统,所有新技术都需要经历11的考验。...因为只有经过11这样一个爆发点的验证,才能证明技术对于消费者的价值,证明其大规模应用的可能。

2.4K20

“天猫11”背后的流量治理技术与标准实践

作者 | 赵奕豪 (宿何):Sentinel & OpenSergo 开源项目负责人 一年一度的天猫 11 正在火热进行中,大家在疯狂买买买的过程中一定会有疑问:如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定...这背后的技术原理是怎样的,有没有一些最佳实践与标准?这篇文章就为大家介绍如何结合 Sentinel 与 OpenSergo 玩转双十一背后的流量治理技术与标准。 1 OpenSergo 是什么?...Sentinel 在内部承载非常多的服务可用性与容错的场景,保障了近十年天猫 11 流量峰值的稳定。...如果您有时间,有热情,有意愿,欢迎联系社区加入开源贡献小组,一起共同完善 OpenSergo 和 Sentinel,一起主导微服务治理技术与标准演进。Now let's start hacking!

75920

京东商品详情页应对“11”大流量的技术实践

【编者按】此文是根据京东资深Java工程师张开涛11月21日在msup主办的 into100沙龙第14期《京东商品详情页应对大流量的一些实践》演讲中的分享内容整理而成。...最早期的时候,我们商品详情页采用.NET技术,但是随着商品数量增加,而且随着商品数据库结构设计复杂性的变化,后来我们就生成了静态页,通过JAVA生成页面的片段,像商品介绍等等,都是通过一个一个片段输送出去的...如果我们能够及早发现这个问题,进行预案处理,比如降级,如库存出问题了,让我们第一时间知道,我们可以降级为全部有货,让大家都有货可,这就形成了服务闭环。...工作之余喜欢写技术博客,有《跟我学 Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程,目前博客访问量有460万+。 ?

1.6K100

11在即,分享一些稳定性保障技术干货

每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。...我作为会议主持人,也和这些技术大牛交流了很多案例经验,从他们身上汲取了很多新的思路和技术实践。我将其中一些比较干货的技术实践案例整理了出来,供大家学习参考下。...+写操作不刷盘方式; 非交易业务的查询放在备库,降低主库压力; 梳理落地SOP机制,遇到问题时首先快速线上止血,解决故障; 存在主备延迟情况,可以开启参数调整方式来处理(临时开启,快启快关) ; 同城活架构下...,可通过定时任务的方式自动检测MySQL的0模式,定时改写数据; 高并发下MySQL主库往往写压力比较大,事务日志和binlog IO比较频繁,导致备库拉取binlog比较卡,较好的方式是通过降级延时方式做数据同步

2.7K20

助力 11 个性化会场高效交付:Deco 智能代码技术揭秘

Tech 导读 在这次11的个性化会场我们大规模使用Deco进行研发,带来了48%左右的效率提升,本文将为大家揭秘Deco提效之秘。...Deco 经过 618 大促的初步验证,随后不断升级打磨,在正在火热进行的 11 个性化会场研发中已经广泛投入使用,覆盖 90% 左右的大促楼层模块,为业务研发带来 48% 左右的效率提升。...图3 11部分个性化会场及模块 03如何实现一个设计稿生成代码方案 1、生成静态代码 设计稿智能生成代码的第一步是生成静态化的代码,而这一步的核心是如何根据设计稿生成一份「结构化的数据描述」信息,这份数据称为...「结构化的数据描述」; 将「结构化的数据描述」表达成代码; 本质上,Deco 智能代码是通过设计工具插件从视觉稿原始信息中提取 D2C Schema,然后结合规则系统、计算机视觉、智能布局、深度学习等技术对...路漫漫其修远兮,需要技术人上下而求索。

3.1K20

历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼。...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

2.4K10

历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

作者|风胜 来源|阿里技术 淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

3.1K20

今年天猫11的这些技术,可能会改变整个零售行业

11清单》等节目,涉及美妆、美食、海外、综艺等主题,会有数百位网红和明星参与,不乏Papi酱这样的超级网红,且这些直播并非由天猫独立组织,而是品牌商共同参与,会邀请许多品牌代言明星来做直播。...5、个性化定制技术实现按需生产 个性化是今年天猫11的重点。...“为每个消费者打造属于自己的11”,是天猫11个性化技术的目标。 ? 个性化界面将会在双十一结束时关闭,但我认为个性化购物将是未来的方向。...因此,个性化技术已不能缺席电商平台,事实上京东也表示将会在11主打个性化,个性化将是继移动化之后,电商的一个核心技术演进方向。...而天猫11今年的首要方向就是全球化,与之前的全球化不同的是,不只是帮助中国用户全球,还有帮助中国商家卖全球,今年天猫11启动仪式选择在中国香港召开,就是为了展现出全球化的姿态,中国香港和中国台湾也是今年天猫

5.8K90

天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术

其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...今年 11,阿里云数据中心的巡检机器人「天巡」升级到了第二代,不仅实现了无「人」值守,还可全自动更换故障硬盘:自动巡检——故障盘定位——取盘换盘——硬盘通电,整个动作一气呵成,只需 4 分钟即可完成更换动作...今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。...比如,在搜索层面阿里实现了语音、图片、文本、短视频等的「万物可搜」。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

8.1K10

当直播电商用上 AI 实时翻译,歪果仁也能听懂李佳琦

By 超神经 内容提要:今年的「 11」,似乎比往年来得更早一些。而每年剁手党们狂欢的背后,离不开技术力量的支持。...关键词: 11,跨境直播,AI 实时翻译 距离「 11 」还有半个月,然而各大电商平台早已经开始摩拳擦掌,纷纷将预售时间提前,抢占先机。...「 11」的购物潮流也已触及全球 200 多个国家和地区 不过,在「 11」全球化的同时,也面临着新的挑战。...AI 实时翻译:消除跨境直播的语言鸿沟 为了帮助中国跨境商家更好地触达全球消费者,让歪果仁也听懂「噢尬」、「我的妈呀」、「所有女生,买它!」...今年这项技术运用在跨境直播中,将解决电商与海外消费者的沟通障碍,可以预见,今年的「 11 」,将会是一场全球剁手党的狂欢,而各位带货直播们,也将晒出更耀眼的成绩单。

5.6K41

11 第 14 年,技术人的新命题是什么?| 专访淘宝天猫 CTO 若海

今天, 11 更像一个大型天文望远镜,透过 11,去探索与验证未来的技术与系统架构趋势、未来的商业与用户体验。”...在阿里 11 的第十四个年头,InfoQ 有幸专访到了淘宝天猫 CTO 余刚(花名:若海),一起聊聊他眼中今年 11技术看点与未来布局。 11 第 14 年,技术团队的新命题到底是什么?...若海还表示,未来希望技术能打破惯性,给业务带来更大可能的同时,也为技术自身的发展带来新的挑战和机会,这是这个阶段的 11 带来的新挑战。...再结合今年 6·18 的经验,整个 11 顺利完成了从零点支付到八点的切换,很好应对了技术挑战。...在这样的技术布局之下,我们已经看到了淘宝技术团队在提升消费者体验上的决心与投入,明年的天猫 11 将会呈现怎样的新变化,值得我们共同期待。

95220

创业使人成长系列 (1)

11年开始的团购千团大战、14年国内打车大战、15年O2O大战、16年的共享单车大战,每一次大战剩下来的都没几个。踩不中风口,跟随风口创业几乎都失败了。...15年提倡创,大众创业、万众创新,现在回过头看,当初那么多人创业,活下来的有多少,现实数据充分说明了创业成功是小概率事件。失败才是正常的。 二、用收获衡量得失,而不是世俗所谓的成功。...所有人员大部分来至原来团队,需要每个员工自己入股,采取的形式是1万给2万的股,不同岗位可购买的额度不同。如果失败,则购买股份的钱会退给你。工资也是正常发放。当时觉得条件挺优厚的就加入了。...最直观的感受是,当初为什么做陌生人语音社交?原因就是原来公司就是专门做语音交互的。...不仅在技术上陷入了价值网依赖,在很多运营策略上也照着大公司的运营思路去做,当初光域名都花了好几万,其实这个对创业公司重要吗?仁者见仁智者见智吧。

54110

OPPO R15来了,网友:刚买了R11s,就出R15,你觉得我还会吗?

配备了后置摄像头,而前置摄像头依旧采用了到 2000万像素。...搭配6GB内存、128GB机身存储,内置3450mAh容量电池,支持VOOC闪充技术。前置2000万像素镜头,3-HDR硬件实时分级曝光技术,大幅提升逆光自拍效果。...所有的钱都用来给明星代言费,试问你的手机研究经费能高到哪里?质量?这种机子我们业内叫它“一次性手机”。 网友:有些人能别觉得自己最清醒吗?...大家还是参考下值不值得 好了 才几个月研制的新机 也不会有太大突破。所以还是会有很多追星族,义无反顾的的。才刚r11s,反正买不起!...人家在时代前沿,而你却在科技后沿,技术不够,实力来凑?哪儿来的自信?我就想知道设计师用什么手机?我是oppo粉,我很期待R15,但是我特别愤怒找那么多代言,不是直接告诉了我们机子等于直接养明星!!!

10.6K70

肥皂与手纸:神奇的电商大数据分析

11.11光棍节已经过去,12.12促销又要到来,回望双十一的疯狂与激情,哪些人在小米、哪些人在华为,哪些人在林志玲,哪些人在杜蕾斯,都将是有趣的话题。...11月27日,在京东举办的《京东技术解密》新书发布会上,笔者获得了不少11.11京东商城的趣闻大数据,京东网友的性福指数羞答答出炉,卖出80万块香皂、900万卷手纸,大北京的区县性福对比让我惊讶异常。...虽然市面上有不少大数据之类的书籍,但是真正专业电商技术解密和实践案例分享的书籍还真是独此一家,我马上去几本送给我的程序猿朋友们。...2013年十一期间,新用户主要集中在电脑办公,手机数码品类,用户数占比分别为16%、13%;2014年十一期间,新用户主要集中在服饰内衣、鞋靴箱包等品类,用户数占比21%、12%。...按道理讲朝阳区北京夜生活最丰富的地区了,曾经的天上人间,灯红酒绿的三里屯都在这里,双十一朝阳区的青年们都跑哪里去了。

28.8K100
领券