首页
学习
活动
专区
圈层
工具
发布

双十一代购站点超卖事故:一个 Redis 分布式锁引发的连锁反应

某代购站点双十一活动刚开始40分钟,后台订单系统已显示三款热门球鞋库存归零,但前台用户仍然可以正常下单支付。等运营手动关掉商品链接时,超卖订单已经产生了近百单。...团队很快在库存扣减操作外包了一层Redis分布式锁,用SETNXEX实现互斥。压测时单机200并发通过,但上线后问题依然存在——只是从超卖变成了订单排队拥堵。进一步分析发现,锁的粒度太粗了。...TPS被限制在单线程水平,双十一流量下订单处理队列迅速堆积,用户端表现为下单后长时间无响应,部分用户重复点击导致更多请求涌入。...锁只能保证本地扣减不冲突,但无法阻止多个订单基于同一个过期的1688库存数据同时下单。双十一那晚,恰好有一款商品的1688库存回调延迟了约40分钟,导致系统基于"库存充足"的旧数据放行了大量订单。...这套细粒度锁加库存预占的组合,让代购站点在后续的大促中再没出现过类似的超卖事故,也证明了技术应该降低门槛,让普通人也能稳定运营跨境生意。

16810
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python 单细胞分析教程(一):质量控制

    前言 目前,国内对于单细胞测序分析的教程五花八门,百花齐放,一个合适且准确的pipeline对于分析是很有价值的。...但是,其在国内的推广有两个不足:(一)全英文教程;(二)R语言与Python混合。二者限制了其在国内的推广,故笔者在原教程的基础上,结合自身的单细胞测序分析经验。...但是不同的预处理方法可能会带来不同的效果,单细胞测序分析技术的快速发展使得我们有大量的工具可以对单细胞测序数据进行质量控制。在本小节中,我们将详细描述质量控制的最佳步骤。 1....过滤低质量的细胞 质量控制的第一步是过滤低质量的细胞。当细胞检测到的基因数量较少、计数深度较低且线粒体计数较高时,细胞膜可能会破裂,这表明细胞正在死亡。...由于这些细胞通常不是我们分析的主要目标,并且可能会扭曲我们的下游分析,因此我们在质量控制过程中将其去除。为了识别它们,我们定义了细胞质量控制(QC)阈值。

    3.3K21

    【京东技术双十一】记一次线上问题引发的对 Mysql 锁机制分析

    最近双十一开门红期间组内出现了一次因 Mysql 死锁导致的线上问题,当时从监控可以看到数据库活跃连接数飙升,导致应用层数据库连接池被打满,后续所有请求都因获取不到连接而失败。...,后续找时间又重新分析了下问题发生的根本原因,现将其总结如下:本篇文章会先对 Mysql 中的各种锁进行分析,包括互斥锁、间隙锁和插入意向锁,让大家对各种锁的使用场景有一个了解,然后在此基础上再对本问题进行分析...在完成了三个并发线程的死锁分析后,可能有人会想虽然有死锁,但通过死锁检测可以很快的检测出,程序也可以正常的执行,这有什么问题呢?...看看当时出现线上问题时,接口的调用量情况: 图10.出现线上问题时接口的调用量 进一步在本地模拟 300 个线程并发执行,因人脑并发分析所有事务的执行情况的话会非常复杂,本次只以事务 1 为一个点来进行分析...综上分析,本次出现问题的最主要原因是在短时间内存在大并发的请求对同一行数据进行先删除再插入操作(先更新再插入同理),造成了死锁等待,应用层连接池被打满,大量上游请求超时重试,进一步导致锁等待,最终影响了所有依赖该数据库的业务

    95932

    如何技术地识别双十一的“骗”局

    ---- 先看下去年的天猫双十一战报,交易额达1207亿。不知今年能达到多少?...交易额虽然惊人,但是双十一也存在一些黑暗面,通过搜索引擎简单搜索,我们可以看到返回的内容,如下示例: 每年双十一都会搞得轰轰烈烈,一年比一年火爆,火爆背后有多少消费者买到的商品真的是实惠的吗?...因为你不可能长期针对某个商品进行监测,回到本文的主题, 如何技术地识别双十一里的“骗子”商品?...很容易想到使用爬虫工具,每天定时定点地爬取商品的销量跟价格;只要长期跟踪,就不怕你商家在双十一这一天耍花招了。 但是,谁去做爬虫呢?爬虫爬取的数据存放在哪里呢?...还有,某宝一直被诟病的刷单、买好评等弊端,将被区块链技术所解决。 下面介绍一种简单的基于区块链的,方便个人开发者DIY的技术方案。

    8K40

    程序员双十一好物必买推荐:服务器

    前言 一年一度的双十一购物节如期而至,对于程序员来说,这是一个“囤货”的好时机。...大多数人囤的是日常用品,而程序员的“囤货”清单则充满了技术气息:开发工具、硬件设备、学习资源……其中,最具性价比、最实用的必买好物之一,非 服务器 莫属!...下面,就来看看为什么囤服务器是双十一程序员购物清单上的明智选择,以及如何挑选最适合你的服务器方案。 一、为什么程序员要在双十一囤服务器?...适用场景:构建中小型网站、实验性产品开发、数据分析和机器学习项目的初步模型训练等。...云厂商通常提供免费的基础安全服务,但对于企业级应用,建议在双十一期间一并购买额外的安全服务,如 DDoS 防护、Web 应用防火墙等。

    4.6K21

    Python获取“双十一”商品评论,做词云分析,一个简单的案例教学

    前言 环境使用 Python 3.8 Pycharm 模块使用 requests jieba 结巴分词 wordcloud 词云 数据来源分析 明确需求 分析> 采集数据是什么东西?...通过那个url地址得到想要数据的内容 抓包分析: 浏览器自带工具 --> 开发者工具 I. F12 或者 鼠标右键点击检查 选择 network 点击第二页 II....response.json() 获取响应json字典数据 解析数据 字典数据类型: 通过键值对提取数据内容 根据冒号左边的内容[键], 提取冒号右边的内容[值] # for循环遍历 把列表里面元素一个一个提取出来...# 导入词云 import wordcloud # 导入读取图片 import imageio # 读取图片内容 py = imageio.imread('img\\矢量图5.png') """ 词云分析...: - 读取文件内容 文本 - 进行分词, 把一整句话, 分成一个一个词语 - 词云模块进行输出 """ # 读取文件 返回对象 mode 方式模式 r 读 a追加写入保存 mode

    75020

    一文搞定SonarQube接入C#(.NET)代码质量分析

    Sonar检测C#代码时需要预先编译,而且C#代码必须用MSbuid进行编译,如果需要使用SonarQube对C#进行代码质量分析,则需要下载Sonar-Scanner-MSBuild和MSBuild,...参数说明: /key(简写k):对应projectKey即项目的唯一代码,如两套源代码使用同一个projectKey那扫描的结果将混在一起,所以一个项目需要有一个单独的projectKey /name...(编译成功后默认生成Debug产物),SonarQube分析C#项目工程时,前提需要MSBuild能预编译成功,如果存在错误,则无法成功完成后续Sonar分析动作。...4、分析C#扫描结果,将分析报告上传给SonarQube,CMD命令下运行: SonarScanner.MSBuild.exe end 执行结果如下图所示: ?...5、查看Sonar分析扫描后的结果,访问http://10.0.0.147:9000/dashboard?id=hcloud.Common.KDY.WebApi.Core,分析结果如下图所示: ?

    7K31

    域名空间哪里买好呢?域名可以重复吗?

    自己创业确实是一个非常不错的想法,因为通过创业,可以帮助我们更好的发财致富,也可以帮助我们提高个人成就感。...我们如果要创业的话,首先是要购买一个域名空间的,因为这样可以帮助我们推广我们的产品,能让别人更好地了解我们的网站,但是很多人不知道域名空间哪里买好。那么,域名空间哪里买好呢? 域名空间哪里买好呢?...如果我们想要购买域名空间的话,建议大家去一些排名比较靠前的域名网站进行购买,因为这样我们更容易购买到一些比较不错的域名,而且,排名靠前的网站,无论是安全性,还是口碑,都是具有一定的保障的。...可以去网络上搜索一下域名网站的排行榜,这样可以帮助我们购买到好的域名。 域名可以重复吗?...域名空间哪里买好呢?出售域名空间的网站是非常多的,而且每个网站都有自己独特的优势,所以我们只需要根据自己的实际情况,选择一个合适的域名出售网站进行购买就可以了。

    20.8K30

    阿里双十一购物节背后的技术问题

    一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。...不过以前我还没有考虑过这背后的技术问题,直到最近我做了一个烂项目以及和同事谈论双十一购物效率问题时才思考了一下这个问题。...这样的好处是某一台服务器挂掉了,依然不影响使用,在客户能够正常使用的情况下,我们立即去修复宕机的服务器。 ? 另一个显著的问题就是同一时间海量的数据存储,这也是一大技术难题。...还有一个重大的技术挑战就是双十一的零点秒杀活动,这也是双十一最核心的业务。几乎所有的等待双十一购物的同胞们,在秒杀活动开始的一瞬间,点下购买按钮抢购商品。...毕竟一个不慎,双十一的活动就是一地鸡毛了。在此,小编整理了几个应对策略: 秒杀系统独立部署。为了避免秒杀活动搞垮整个淘宝网站,将秒杀系统单独部署,使用独立的域名独立的服务器,独立的数据库。

    10.8K30

    阿里双十一购物节背后的技术问题

    一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。...不过以前我还没有考虑过这背后的技术问题,直到最近我做了一个烂项目以及和同事谈论双十一购物效率问题时才思考了一下这个问题。...这样的好处是某一台服务器挂掉了,依然不影响使用,在客户能够正常使用的情况下,我们立即去修复宕机的服务器。 ? 另一个显著的问题就是同一时间海量的数据存储,这也是一大技术难题。...还有一个重大的技术挑战就是双十一的零点秒杀活动,这也是双十一最核心的业务。几乎所有的等待双十一购物的同胞们,在秒杀活动开始的一瞬间,点下购买按钮抢购商品。...毕竟一个不慎,双十一的活动就是一地鸡毛了。在此,小编整理了几个应对策略: 秒杀系统独立部署。为了避免秒杀活动搞垮整个淘宝网站,将秒杀系统单独部署,使用独立的域名独立的服务器,独立的数据库。

    11.5K20

    阿里双十一购物节背后的技术问题

    一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。...不过以前我还没有考虑过这背后的技术问题,直到最近我做了一个烂项目以及和同事谈论双十一购物效率问题时才思考了一下这个问题。...这样的好处是某一台服务器挂掉了,依然不影响使用,在客户能够正常使用的情况下,我们立即去修复宕机的服务器。 另一个显著的问题就是同一时间海量的数据存储,这也是一大技术难题。...还有一个重大的技术挑战就是双十一的零点秒杀活动,这也是双十一最核心的业务。几乎所有的等待双十一购物的同胞们,在秒杀活动开始的一瞬间,点下购买按钮抢购商品。...毕竟一个不慎,双十一的活动就是一地鸡毛了。在此,小编整理了几个应对策略: 秒杀系统独立部署。为了避免秒杀活动搞垮整个淘宝网站,将秒杀系统单独部署,使用独立的域名独立的服务器,独立的数据库。

    11.1K30

    腾讯云2024双11大促:边缘安全加速平台EdgeOne最佳实践

    product/1552 简单的说,主要有以下几点功能: 全球加速: 腾讯云 EdgeOne 资源遍布全球70+国家与地区,全网带宽200Tbps+,覆盖全球3200+加速节点,有效改善跨地区、跨运营商的访问质量问题...多维监控分析: 提供丰富的流量、攻击等报表查看,支持离线、实时日志下载和分析,同时提供 IP 归属查询、自助诊断、网站拨测与前端性能监控等分析工具。...五、添加站点 1、添加站点 进入EdgeOne控制台,选择站点列表(https://console.cloud.tencent.com/edgeone/zones),如图操作操作站点。...、规则引擎、四层代理、边缘函数以及日志服务、数据分析等十多个丰富的能力于一体化的管理控制台,帮助您一站式在边缘进行安全防护以及内容加速,并且通过灵活的规则配置以及边缘函数,可帮助您灵活根据需求配置业务响应以及回源规则...腾讯云2024年双十一活动提供了多重优惠,助力用户以更低成本享受高质量云服务。 活动入口:可以通过链接直接参与活动 https://mc.tencent.com/ju8C7t8k

    9.2K21

    网站上传程序的步骤

    一个完整的网站是由域名,空间和程序组成的,当我们把域名和空间都购买好之后,就需要上传网站程序了: 方法/步骤: 1 上传程序首先需要一款工具软件,一般选择ftp,先到百度下载一个ftp上传工具。...2 打开安装好的ftp,在站点管理器中新建一个ftp站点。在新建的ftp中输入,标签、主机地址、用户名、密码,然后点击确定。主机地址、用户名、密码登陆你的个人虚拟主机管理界面都可以看到。...3 然后双击你新建的ftp站点,就会连接到你的虚拟主机空间。双击打开站点根目录wwwroot。把你的网站程序压缩包上传到站点根目录wwwroot下。...4 登陆你的虚拟主机管理,找到已上传文件,解压到站点根目录wwwroot下。 5 打开解压后的文件,找到网站程序,全部剪切到站点根目录wwwroot下。删除空文件夹。

    4.1K50

    我转手丢给他一个Flink史上最简单双十一实时分析案例

    上期带大家用StructredStreaming做了双十一实时报表分析,没看过的朋友可以看看,这是链接: StructredStreaming+Kafka+Mysql(Spark实时计算| 天猫双十一实时报表分析...先明确一下需求: 1.实时计算出当天零点截止到当前时间的销售总额 2.计算出各个分类的销售额最大的top3 3.每秒钟更新一次统计结果 不管会不会,上来先创建一个流: //TODO 1.env...,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。...在整个计算链路中包括从天猫交易下单购买到数据采集,数据计算,数据校验,最终落到双十一大屏上展示的全链路时间压缩在5秒以内,顶峰计算性能高达数三十万笔订单/秒,通过多条链路流计算备份确保万无一失。...以上便是大数据Flink史上最简单双十一实时分析案例喜欢的小伙伴欢迎一键三连!!! 感谢李胜步博主提供的思路:

    72220

    浏览器做打假助手,它的边界在哪里?

    这款打假助手工作原理是,基于对交易历史记录、商家处罚记录、用户评论等数据的分析,对用户进行提醒,降低购买假货的风险。说白了,就是用技术手段快速分析更多数据,帮用户省了看一堆评论、对比来对比去的麻烦。...技术并不是很复杂,就是搜索引擎擅长的抓取和分析网页数据。只不过这个功能还是存在一定的争议性。 打假助手的风险:有没有越殂代疱?...马云曾说过打假不是阿里一个人的事情,而是要多方共同努力,搜狗打假助手显然就是符合这一逻辑,在技术上发挥大数据优势,进行更智能化的分析。因此对电商平台生态净化有益处。...不过,双十一、双十二期间,搜狗打假助手已经有一定声势,安装总量近400万、每日页面浏览量超过1300万次,各大电商平台并没有什么动向,看来是默许了这样的行为,或者是打假助手击中了某些售假电商的“痛点”进而形成一种默契...浏览器的边界在哪里? PC互联网这几年一直有被移动互联网挤压的感觉。因此一些在PC端发生着变化的产品,并没有被外界太多重视,比如浏览器。

    5.7K50

    腾讯云双十一EdgeOne开箱实战

    前言腾讯云双十一拼团GO热火进行中,尝试过双人组队PK和冲榜等极具“省钱”特色的玩法了吗?...接下来,让小明引领我们一同发掘各大云产品的神秘折扣通道,助您以更实惠的成本尽享高品质云服务,活动入口:双十一攻略双十一EdgeOne开箱实战腾讯云在双十一期间推出了EdgeOne边缘安全加速平台的特惠活动...站点添加进入EdgeOne控制台之后,首先第第一步就是要配置站点,这个站点也就是我们需要加速的网站,只要把加速的域名填上即可。...输入站点之后,会动带出,刚刚购买的EdgeOne套餐,直接点击下一步就行,接下来就开始配置接入模式,一般直接下一步就行,不过可以根据需求来,我这里选择全球可用。...配置加速域名上面网站站点添加完成之后,需要在配置一个新的域名,这个域名也是二级加速域名,是由EdgeOne分配的,上述站点配置点击完成之后,就会跳转到域名配置。

    1K00

    【技术】简单实用的电商数据分析方法论

    所以我们在做纵向对比的时候,例如要判断今天(假设是周六)的成交额是否合理,除了看最近30天的趋势数据,我们还可以考虑: 最近10周的周六成交额趋势 如果今天恰好是一个节日,例如双十一,那么可以考虑和上一年的双十一做一个对比...客户数细分 客户数 = 新客户 + 老客户 老客户 = 二次成交客户 + 多次成交客户 一段时间内的新客户反映的是店铺的引流效果,而老客户反馈的是店铺的产品质量,服务质量和客户维护营销等。...这些指标是从哪里来的,每一个步骤的转化率怎么样,哪一个步骤的转化不好,可以改善?这些通过转化率都可以分析出来。...例如我们要分析本周的活跃客户数(有成交的客户数),那么我们就要分析这些活跃的客户数是从哪里来的,梳理一下可以简单分为以下4个步骤: 进入店铺的客户数 ==》浏览过商品的客户数 ==》下单的客户数 ==》...分类思想的应用很多,例如对客户的分类,我们可以用RFM分析模型,也可以用简单的利用某个指标的值(例如渠道标识,这样我们就可以分析到各个渠道客户的质量等)。

    1.2K51

    阿里财报:菜鸟外部收入占比提升至73%

    通过持续建设高质量的产业互联网,做全球化的长期主义者,菜鸟已经成为物流和供应链市场中重要的优质服务提供方,获得了更广泛的市场认可。...本季度,菜鸟驿站在全国城市社区、校园和乡村地区的站点总数超过17万个,同比增长超过20%。其中城市社区的菜鸟驿站承担起了为天猫淘宝包裹送货上门的服务。...在刚刚过去的天猫双十一期间,菜鸟送货上门的包裹量已经超过了2亿件,其中菜鸟驿站和菜鸟直送的单日送货上门量分别都超过了1000万件,成为菜鸟面向消费者提供品质服务的两大主力。...今年双十一期间,菜鸟日均大件家装收货量、签收量同比增长均超过500%,品质物流服务成为消费者下单购买的重要决策因子之一。...此外,菜鸟在ESG方面本季度也围绕绿色物流、应急物流持续推进,在1000多个菜鸟驿站站点使用了智能IoT设备辅助绿色回收,并开发上线了每个站点的减碳账单,累计与28家机构达成了应急物流合作,为壹基金等公益机构开发运行数字化系统

    69920

    腾讯云WeData:数据质量监控架构的创新与实践

    比如在上面图中,在双十一前后,销量的下降真的是异常吗?双十一时期的销量暴增真的需要触发告警嘛?更合理的做法应该是和上一次对应的大促对比,这样的预期才更合理。...缺乏关联分析,数据质量问题就容易长期潜伏,最后引发决策误判。 解决方案: 其实这些问题在业界都很常见,但传统质量工具很难覆盖到。...表面上看,每个问题都有解决方案: 第一个问题,数据科学里常做探查性分析,看看字段空值率、枚举值分布等,再做处理; 第二个问题,只要数据量够大,传统机器学习模型也能判断阈值的周期性并给出推荐; 第三个问题更简单...这种工具只能帮我们解决“known unknown”,也就是用户预先知道哪里可能有问题,才会去配质量监控。但在真实业务里,用户怎么知道哪里会出问题?等出问题再补救,质量工具的意义又在哪里?...人工判定其实就是最基础的数据探索性分析,比如在数据作业前先瞅一眼基础数据探查,虽然不能覆盖所有“unknown unknown”的质量问题,但用户大致能对数据有个感知,凭经验判断哪里有问题、怎么处理。

    1.1K10
    领券