本文根据张伟杰在【第十五届中国系统架构师大会(SACC2022)】线上演讲内容整理而成。
营销大促活动,不仅是商家吸引用户、冲刺业绩的关键战役,也是一场防御黑灰产入侵的守卫战。一方面,市场对电商平台稳定性和安全防护的要求提升,另一方面,黑灰产技术升级逐渐形成上下游分工、配合密切的产业链,电商风控与安全形势愈加严峻。
采访嘉宾 | 金思宇、陈贞宝、胡强忠 编辑 | 辛晓亮 大型电商系统并非一开始就具有完整设计的高可用特性,而是随着用户的不断增加与业务的快速增长逐步演进与完善的。当前高可用架构体系是互联网企业系统架构的基础要求,随着公司的业务发展,尤其是对于电商平台,每次发生稳定性故障带来的影响越来越大,提供稳定的服务,保证系统的高可用已经变成了整个技术团队需要面对的挑战。 基于此,我们深度采访了得物技术团队核心成员,探索他们在高可用架构上的实践、演进,深入了解大促备战是如何进行的,异地多活体系是如何建设的,全链路
在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!
2019年“618大促”告一段落。作为上半年规模最大的促销活动,各大电商平台给出了最大的优惠力度,成绩也都再创新高。
每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。
上篇文章用了很长的篇幅讲述了全链路压测从零开始落地实施的主要过程,其中在准备阶段是最耗费时间和精力的。全链路压测是个复杂的跨团队协作的技术工程,所以在实施之前,需要明确项目的范围边界和尽可能提前识别可能存在的风险。这篇文章,就来聊聊落地过程中,如何确定范围边界和识别存在的风险。
来源 / ToB行业头条(ID:wwwqifu)作者 / 海阳 · 编辑 / 瑞雪
这次我们走访了10家电商,今年618的安全考验7家欢喜3家愁。 为什么而愁? 一些电商早早地就接入防刷,做好了准备,但实战来临时防护效果欠佳。一是高估了自研能力,二是对于刚起步的电商“新选手”,安全能力布局和对抗经验不够。618大促结束后用户开始抱怨没有抢到优惠券,企业管理者也感慨营销资金打了水漂。 那么要打赢这场安全战役,需要干掉哪些痛点? 专业黑灰产瞄准“拼团砍价” 首当其冲的就是要迎战以羊毛党为代表的黑灰大军。黑灰产在今年“618”期间升级了作案手段。薅优惠券这种虚拟物资已经不能让他们满足了,低价
互联网高速发展带动电商行业迅速崛起,近年来,随着直播电商等新玩法的兴起,营销大促模式更加丰富、规模日渐壮大,电商行业发展迎来更大机遇。然而,电商快速发展的背后,羊毛党、黑灰产、网络攻击、仿冒流窜等问题也格外突出,做好安全防护成为行业刻不容缓的任务。
第十一期 | 你抢不到的优惠券,背后“元凶”竟是垃圾注册?顶象防御云业务安全情报中心发现,某电商平台注册场景出现大批量异常注册。黑产通过批量注册获得大量平台账号,为其后续在电商平台大促期间开展批量抢券、秒杀、刷单等行为进行账号储备。顶象防御云业务安全情报中心BSL-2022-a3c22号显示,黑产通过非法手段窃取、购买公民个人信息及手机黑卡等,并采用作弊设备模拟设备指纹高频切换IP等方式,对电商平台发起大批量的注册攻击,从而获得大量平台账号,以用于后续在平台大促期间进行一系列的薅羊毛行为,不仅使普通顾客因此失去了获得优惠的机会,而且给平台带来了大额的资产损失和大量的无价值的虚假用户。电商平台为何会被黑灰产盯上?电商平台的每一次大促都是黑灰产“捞金”的最佳时机。近几年,各大电商平台为了拉拢客户尤其是新客户,开展了一系列营销活动:新人折扣券,满减优惠券,拉新返现、砍价助力等等,花费的营销成本高达数亿元。以双十一为例。不久前,顶象在业务安全大讲堂系列直播课《双十一电商行业业务安全解析》中就具体提到双十一电商平台的业务安全风险。就双十一促销活动,电商平台们营销周期从10月中下旬就会开始相应的营销投入。整个双11电商大促活动会持续将近一个月,这也给了互联网黑灰产充分的时间去针对各个电商平台的活动规则和活动流程做深入研究,为后续的营销欺诈活动做好充分准备。此外,在营销玩法方面,都呈现出了优惠力度加码,玩法多元化的趋势。比如天猫聚焦高质量发展,构建“低碳双11”,首次设立绿色会场,发放1亿元绿色购物券;关注银发群体,上线淘宝长辈版,设置首个长辈会场;京东则设立了首个“不熬夜”的双11,提升消费者体验;升级多种价格保护政策及放心换服务,保障消费者权益;出台绿色低碳、扶贫助农计划等。营销投入的加大意味着黑灰产有更大的动力去进行攻击,因为一旦成功,收益更大。而丰富的营销手段则意味着黑灰产有更多的途径、更多的场景实现攻击,因为一条攻击路径走不通,便可以选择另一条攻击路径。且新的营销手段往往会因为防控经验不成熟,更容易出现业务规则的漏洞,成为黑灰产攻击的突破口。也正是各平台之间的相互竞争,导致这种营销活动愈演愈烈,继而催生了垃圾注册这个行业,并与黄牛、羊毛党、打码平台等团伙形成了完整的产业链。上游:卡商与接码平台所谓垃圾注册就是通过购买大量手机号和用户个人信息,在了解平台的规则后,借助作弊设备(如:代理IP、群控软件等)自动化的进行批量注册。在整个互联网黑色产业链中,批量注册处在产业的中上游位置。其主要目的是为下游进行一些列黑产活动提供账号。因此,批量注册的账号被视为滋生助长网络犯罪的核心利益链条之一。同时,批量注册的账号多数利用不记名的网络黑卡进行注册,为相关的账号使用者提供了便捷的真实身份隐蔽及账号控制主体溯源规避的功能,亦成为了网络诈骗、赌博等相关犯罪所必须的工具。上游为信息和技术的支持方,即为批量注册提供大量身份信息或资料及其所需的技术支持,卡商和接码平台便处于上游位置。中游为账号获取方即号商,即行为人通过从卡商和接码平台处获取的手机号与验证码,使用自动访问平台注册程序的软件或程序,获得大量注册平台账号。下游为账号使用方,行为人通常向号商购买账号,以供网络刷单炒信、发布违禁信息、进行网络攻击等多种用途。顶象防御云业务安全情报中心监测到,其上游端的卡商手握数以万计的电话卡,其黑卡的主要来源有:实名卡、物联网卡、海外卡以及虚拟卡。实名卡:实名卡主要是通过拖库撞库、木马、钓鱼等方式从网上收集大量身份信息,并通过黑卡运营商批量验证得到的。境外手机卡:黑卡运营商直接从海外购得的手机卡,这些卡无需实名认证,花费低,切合黑产利益。物联网卡:运营商基于物联网公共服务网络,面向物联网用户提供的移动通信接入业务。三大运营商采用各自物联网专用号段,通过专用网元设备支持包括短信、无线数据及语音等基础通信服务,提供用户自主的通信连接管理和终端管理等智能连接服务。虚拟卡:由虚拟运营商提供的电话卡。虚拟运营商与传统三大运营商在某项或业务上达成合作关系。他们就像是代理商,从移动、联通、电信三大基础运营商那里承包一部分通讯网络的使用权,然后通过自己的计费系统、客服号、营销和管理体系把通信服务卖给消费者。像我们常能看到的170开头的号码,多为虚拟号码。卡商获取黑卡的主要渠道大致分为两个来源:一是从运营商“内鬼”处拿卡。运营商的工作人员每个月都有开卡任务,通过平分利益,运营商“内鬼”月均给卡商供卡上千张,二者达成默契合作,形成“双赢”。二是通过找中介进村“拉人头”。当卡商有需求时,一些所谓的地推团队就会集体“下乡进村”,打着三大运营商的名号,搞免费办手机卡送礼的活动,以50到60元的成本获得一张可以正常使用的实名手机卡。中游:利用多种作弊手段养号卡商在获取到黑卡后,下一步就是要利用作弊手段进行养号。其作弊工具主要有三种:猫池猫池是一种可同时支持多张手机卡的设备,根据机
“宅经济”时代,电商行业在人们的生活中扮演着越发重要的角色。2020年突如其来的疫情在缩短用户活动半径的同时,也增加了其触网时长,从而使电商平台业务迅速增长。对此,各大电商平台纷纷扩大各类促销活动的规模,以期获取用户增量,抢占发展先机。
在 2021 腾讯数字生态大会上,一个「花小钱办大事」的客户成功案例让客户和开发者们印象深刻的。这正是基于云函数和云开发的小程序应用实践。
3 预案开关推送(https://blog.csdn.net/weixin_35881820/article/details/113015410)
想要了解业务存在哪些业务安全风险,首先需要对业务非常熟悉,然而不同的业务将会面临不同的业务安全风险。学习业务安全之前要面对不同的行业,熟悉他们的主要业务,然后针对行业分业务来做风险识别,然后针对性的使用技术或者非技术的手段来保证业务的安全稳定。除了业务不同威胁侧重点不同之外,在企业的发展过程中,不同阶段的威胁侧重也不同,对于互联网行业来说,所做业务几乎都是先从一个点开始,做出特点,积累一定的用户量之后就会扩展其他的业务,最后发现所有互联网公司不仅仅是最初成名的业务,而是一个大而全的组织,比如:视频网站搞电商、招聘网站搞培训等等。
在 2021 腾讯数字生态大会上,一个「花小钱办大事」的客户成功案例让客户和开发者们印象深刻的。这正是基于云函数和云开发的小程序应用实践。 今年,某快消品领导品牌冠名了央视大型节日晚会,在晚会当晚,该客户收获的小程序新增注册用户数达到了预期业务目标,当天的访问次数达到千万级 ,瞬间并发最高每分钟数百万请求,而整个云函数计算资源的使用费用仅几万元。整体耗时平稳,平均 API 耗时在 20 毫秒以下,保障了此次活动的顺利进行。 ( 客户小程序访问量 ) 在评估了不同的小程序技术选型之后,客户从开发效率、弹
对大多数人而言,今年的双十一可谓是无感而过。然而,这个「无感」正是今年支付宝技术团队的一个重要目标。
针对电商平台上的作弊行为,阿里巴巴一直秉承着零容忍的态度,在虚假交易的识别防控以及处罚力度上没有最强只有更强。经过多年在全球最大的电商平台大数据上的沉淀和积累,阿里电商反作弊形成了一套监控预警、识别分析和处罚管控的多维度监管机制,特别是对虚假交易的数据监控和算法识别上应用了覆盖全链路大数据的实时分析处理能力以及大规模图搜索技术来鉴别作弊行为。
近几年移动技术的发展出现了新变化。一方面,多设备、全场景下的应用智能互联、大屏流转需求涌现层出不穷;另一方面,隐私合规成为刚需,移动应用需要主动应对合规问题。终端安全始终处于攻防边界的最前沿,这些新变化也给终端安全风险带来了新挑战。 面向新趋势,蚂蚁安全实验室投入研发端边云协同风控技术,将其作为蚂蚁智能风控技术体系 IMAGE 的重要组成部分。近日,蚂蚁终端安全技术负责人万小飞对积淀6年之久的蚂蚁终端安全能力作了全景式介绍,首次揭秘「蚂蚁终端安全立体防区」三层技术架构,并完整分享了基于端边云协同的蚂蚁终端
这是一篇阿里妈妈的论文【KDD’23 | 转化率预估新思路:基于历史数据复用的大促转化率精准预估】 常规的销量预测,遇到一些特大事件,直播、大促,一般很难预估得准确。而且现在电商机制也比较多样,预售、平台折扣等。 本篇可能适合一些特殊时间点进行转化预测的场景。
之前自己也写过好几篇关于全链路压测的文章或者博客,最近看了infoQ上infoQ-数列科技杨德华的专栏,复盘了下自己以往在全链路压测实施方面的工作,发觉还有很多可以做的更好的地方。就以这篇文章来做个总结,顺带说说我自己实施全链路压测工作方面的一些收获和经验。
在前面的几篇文章中,介绍了全链路压测的背景、在企业中的立项流程以及落地的一些技术方案。在开始真正的介绍落地实践过程以及相关案例之前,我想和大家聊聊,我对全链路压测的一些认知,即:全链路压测在技术团队中的定位,以及它的价值是什么。
京东快速发展的同时,应用规模、数据中心以及机器的规模都同步倍增,在面对如此大规模的机器,应运而生了京东数据中心操作系统(JDOS,JingdongDatacenter OS)。历经多年时间的技术沉淀与发展,JDOS不仅仅作为京东数据中心操作管理资源,更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行,基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统,将应用于实现京东商城数据中心资源智能调度,支撑在线业务系统与大数据计算混合部署融合计算,并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战,经过无数次的紧张演练,问题排查,系统升级优化,服务应用快速交付;从容支撑大促高峰流量,保障了业务的高速发展。
在观向报表系统的基础上,整合京东、天猫、拼多多等多平台全类型电商数据,对行业品牌进行的全方面的分析,洞察全域增长先机。
之前断断续续写过一些全链路压测相关的技术文章,很多同学评价还不错。朋友建议我写个系列,基于自己的落地实践经验,对全链路压测做个系统性的梳理总结。今年跳槽后我的工作重心也偏向了全链路压测和稳定性保障方面的研究,这个时间点写这个系列,也算是对自己过去工作的最好总结。
TakinTalks稳定性社区专家团成员。十年互联网行业研发经验,2015年加入哈啰出行,参与哈啰业务系统从0到1的建设,作为核心Owner主导多个重点稳定性保障项目,在高可用架构、技术风险等领域有丰富经验。目前主要牵头哈啰稳定性保障体系化建设,通过人员组织建设、工具/平台建设、关键项目落地等措施保障哈啰所有业务稳定性。
目前,AI技术在人脸支付、人脸安防、语音识别、机器翻译等众多场景得到了广 泛的使用,AI系统的安全性问题也引起了业界越来越多的关注。
交易系统承担了整个交易链路上的所有交易相关的流量,同时交易系统上时常会组织一些营销,大促相关的活动,所以需要面对着因大促造成的瞬时流量激增的情况。
全链路压测出现的初衷是阿里为了解决双十一线上系统在峰值流量冲击下的稳定性和可用性问题,在后续落地及不断的演进过程中,出现了很多技术领域的最佳实践。
2020年9月9日,英国数字、文化、媒体和体育部(DCMS)发布《国家数据战略》(下文简称《战略》),支持英国对数据的使用,帮助该国经济从疫情中复苏,并将在2020年12月之前面向社会进行公开咨询。
机器之心报道 作者:蛋酱 「风控」如何跑在「风险」之前? 在我国,数字经济已近国民经济半壁江山。2021 年,我国数字经济规模达 45. 5 万亿元,占 GDP 比重达到 39. 8%,正在成为中国经济社会发展的主旋律。 在这个大变革时代,每一个行业都面临着数字化的重塑和改造。转型过程中,风险和发展怎样平衡?有哪些新技术可能抓住契机?金融行业作为数字化先行者,应用规模广、技术推进领先,可以提供大量参考。 在 8 月 18 日最新发布的 IDC《10 大风控技术趋势》白皮书中,图技术、端云协同等十个技术被列为
全链路压测是以全链路业务模型为基础,将前端系统、后端应用、中间适配层、DB等整个系统环境,完整得纳入到压测范围中,以http请求为载体,模拟真实的用户行为,在线上构造出真实的超大规模的访问流量,以全链路压测模型施压,直至达到目标峰值,在压测过程中发现系统瓶颈和验证系统能力。全链路压测自2013年诞生至今,一直稳居大促质量保障核武器地位。
上篇文章介绍了和容量保障相关的理念和特点,有同学私信我说希望介绍更详细的落地步骤。
风控在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的风控建设谈谈风控的技术。(本文来源于本人内部分享PPT,仅从技术角度探讨风控体系建设,不
风控在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的风控建设谈谈风控的技术。(本文来源于本人内部分享PPT,仅从技术角度探讨风控体系建设,不涉及公司内部机密,限于篇幅,一些细节没能交待完整)
作者:DearNicole,原文:https://www.jianshu.com/p/98332878b132
Tech 导读 本文基于JDV平台在大促中的各种业务场景,讲解过程中使用情况和技术挑战,通过采取相应的技术创新、技术保障确保系统稳定性,推动数据可视化编排能力在大屏业务场景中发挥更大的价值
信贷是一个非常严谨的行业,对实时风控的性能、精度和可靠性都有很高的要求。蚂蚁集团围绕信贷业务实时场景打造高可用、高并发、数据智能的在线实时风控系统,上千条实时策略只需要 25ms、服务可靠性 99.99%+。在 7 月 21-22 日深圳 ArchSummit 全球架构师峰会上,来自蚂蚁集团的高级技术专家马希民分享了,基于信贷实时风控,构建数据智能的高可用实时风控决策系统实践。以下是演讲内容整理。
近日,IDC发布了《IDC Technology Assessement: 中国公有云托管安全服务能力,2023》报告(以下简称“报告”)。腾讯云安全托管服务MSS凭借多年的技术积累和出色的服务能力,在报告的专家能力、漏洞及威胁检测、事件分析、威胁情报等六项评估中获得满分五星评价,总分位列第一。
导读:自动化是嵌入到整个智能供应链Y的基因里去的,我们服务的一个愿景是希望通过自动化技术实现供应链全链条的降本提效。本文将分享京东如何利用AI驱动端到端补货建设,包括以下几大方面内容:
根据最新研究,调节记忆的大脑回路和调节食欲的大脑回路间的连接中断程度与体重指数(BMI)成正比,这在患有导致肥胖的紊乱或暴饮暴食行为比如暴食症(BED)的患者中关联更显著。该研究指出,肥胖者的背外侧海马体(dlHPC)与外侧下丘脑(LH)之间的连接受损,可能会影响他们在期待奖励食物或款待时控制或调节情绪反应的能力。这项研究来自宾夕法尼亚大学佩尔曼医学院,于2023年8月30日发表在《Nature》(IF2022=64.8)杂志。
全链路压测系列到这里,已经是第十二篇文章了,整个系列大概有14篇的样子,预计这个月会更新完毕。前面的文章,我用了很多的篇幅介绍了在事前调研和准备阶段要做的事情,为什么要花这么多篇幅介绍前期的准备工作呢?因为全链路压测严格来讲,并不是一个单纯的测试手段,而是一整套团队协作和稳定性保障的技术体系。
APP的每个业务场景都有其既定的运行模式,若被人为破坏就可认为是不安全的。举个栗子,比如秒杀场景:大量用户在特定时间点,通过点击抢购来秒杀优惠商品,从而营造一种紧迫而有噱头的营销场景,但如果能通过非法手段自动抢购、甚至提前开始刷接口抢购,那就彻底破坏了业务的玩法,这就是一种不安全的运行模式。再比如常用的用户拉新场景:新客获取成本高达200左右,所有产品的拉新投入都蛮高,如何获得真正的新用户而不是羊毛党也是拉新必须处理的事,一般而言,新设备+新账户是新用户的基本条件,但新账户的成本其实不高,大部分是要靠新设备来识别的,但如果能通过非法手段不断模拟新设备,那拉新投入获取的可能大部分都是无效的羊毛党,这也可看做是一种不安全的运行场景,甚至还有二次篡改,构建马甲APP等各种场景。而APP端上安全要做的就是甄别并防范这种异常场景的发生,简而言之它就是:一种确保官方APP在既定业务模型中运行的能力。
9月14-15日,GOPS全球运维大会上海站圆满举行,为期两天的运维盛宴,为各位运维人带来了相互交流和学习的绝佳平台,来自腾讯技术工程事业群(TEG)计费平台部的黄宇给大家带来了「亿万级大促活动自动化保障体系」的主题分享。 我们同步了嘉宾现场沙龙分享视频(内含高清PPT),请点击下方「腾讯技术课小程序」卡片即可查看: 同时附上整理好的演讲稿: 黄宇,来自腾讯技术事业群的计费平台部,在鹅厂长期从事虚拟支付、多终端支付、账户存储、风控、结算等领域的工作,带领团队负责腾讯千亿级计费大盘的整体运营和质量,目前
这次为大家报道的是Nature Communiations 上一篇题为”Merging enzymatic and synthetic chemistry with computational synthesis planning” 的文章,来自美国马萨诸塞州麻省理工学院的Connor W. Coley团队。
互联网大公司周围,往往围着一群灰产从业者,他们是看不见的敌人,常常躲在暗处,伺机而动。《一代宗师》里说,“风尘之中必有性情中人”,羊毛党可恶之中实有可取之处,其目标精准,不舍昼夜,直击要害。羊毛党们对
随着“618”购物节脚步临近,电商企业正积极准备大量消费券、满减等补贴冲刺业绩的同时,也面临着来自黑灰产入侵的威胁。其中,如何精准投放福利,将优惠送至真正的消费者手里,避免营销资金被“羊毛党”侵蚀,成为电商企业面临大促考验的重要“课题”之一。
在开始文章之前,我们先来问一个问题,为什么是国际上是亚马逊,国内是阿里这两家公司云计算搞得最好呢?这两家公司之间有一个巨大的共同点,就是它们都是电商公司。电商公司的特点很明显,就是流量不是固定的,往往会受到大促、节日的影响。像是国内的双十一和美国的黑色星期五就是典型的大促。在大促的时候的流量会是平常的十倍甚至更多,这么大的流量必须要有更多的机器去应对。但问题是如果去买这么多机器,但是大促过了,流量下降,那么这些机器就又用不到了,显然就会造成浪费。
领取专属 10元无门槛券
手把手带您无忧上云