Tech 导读 压测是目前科技企业及传统企业进行系统容量评估、容量规划的最佳实践方式，本文将基于京东ForceBot平台在大促(京东618、京东双11)备战中的实践历程，给大家分享平台在压测方面的技术变革...压测方式 流量回放：支持离线流量文件回放与实时流量引流两种压测方式，并能根据对流量的需求动态调整流量脉冲的大小； 流量模拟：根据业务配比模型对业务链路的入口系统进行流量模拟，以保证业务链路上的每个系统都能满足配比需求...这时我们打造的平台需要具备以下能力： 分布式架构设计，支持压测平台各服务水平扩展能力，以支持百万或更高量级的压测需求； 容器化方式运维压测平台，资源动态调整的条件由任务并行度决定； 实时计算模块压测结果秒级反馈...图二 公网流量录制回放流程图 （1）公网流量录制回放全景 录制：流量由IDC机房的核心交换机的分光口复制到流量文件中并存储到CFS中(类似网盘)，此方式因流量从光层进行录制，故对应用无任何性能损耗； 回放...、高保真压测等多种压测实践方案的落地平台，为618/双11的备战工作提供了重要保障； 军演压测流量需求增长10倍：由百万级增长至千万级别，满足了单IDC机房的压测流量需求； 持续提升重点系统高保真压测的覆盖范围
作为腾讯云原生的防火墙，支持云环境下的SaaS化一键部署，性能可弹性扩展，为企业用户提供互联网边界、VPC 边界的网络访问控制；同时基于流量嵌入威胁情报、入侵防御系统（IPS）等多种安全能力，打造云上的流量安全中心和策略管控中心...云上企业存在多个私有云（VPC）的情况下，如何实现VPC之间的访问控制和流量可视化，保障业务安全？ 云端内部流量访问的管控、安全防御等基础安全问题，成为企业上云后不得不面对的挑战。...针对企业上云后的基础安全问题，腾讯安全基于腾讯全球威胁情报库和多年安全运营经验，推出新一代云防火墙，基于SaaS化一键交付，助力企业实现云端安全威胁从事前排查、实时拦截到溯源取证的全流程，打造智能、精细化的云端流量安全与策略管控...，实现安全威胁秒级响应；基于CVM的主动外联访问控制，精准控制云上虚拟机的主动外联活动，实时感知主机失陷和非法外联；同时，可构建云环境下的DMZ区，精细化管控东西流量策略，方便多业务多VPC场景的管理。...※战略新品优惠大促： 1、凡参与线上发布会的客户，通过以下专属二维码通道申请，将享受7天云防火墙免费试用活动 2、凡参与线上发布会的客户，通过以下专属二维码通道申请购买云防火墙，可享受3个月7折，6个月
9月14-15日，GOPS全球运维大会上海站圆满举行，为期两天的运维盛宴，为各位运维人带来了相互交流和学习的绝佳平台，来自腾讯技术工程事业群（TEG）计费平台部的黄宇给大家带来了「亿万级大促活动自动化保障体系...2.业务大促活动峰值与平时流量都是几十倍的差异，而且业务间的流量此起彼伏。公共平台的资源是有限的，不可能对不同业务每种活动类型不计成本的堆积设备资源。...业务大促活动期间，是存在相互干扰的，如果控制不当，单个业务的爆发式流量甚至会带来整个大盘的雪崩效应，这又该如何防范。...这里要重点说下扫描检查机制，将扩缩容变更和版本变更等等都收拢到一个变更管控平台，这个平台再针对不同的变更场景发起扫描检查和播测验证；扫描检查是基于监控采集的海量数据，进行细粒度同比以及节点间横比，包括成功率...、时耗、错误码等对比分析；拨测验证也就是之前有讲到的业务场景拨测；那么管控平台就是将扫描和拨测两方面的结论综合起来，判断这次扩容变更是否准确，并提交给TSM大脑进行决策。
李阳.png ---- 导读：今天和大家分享京东零售OLAP平台的建设和场景的实践，主要包括四大部分： 管控面建设 优化技巧 典型业务 大促备战 -- 01 管控面建设 1. ...第三，可以做配额的管控，这一点在大促中非常有用，它可以用于限制用户的查询数、并发还有超时等，防止突增的流量，导致集群的不稳定。...大促前，我们平台会向业务收集有资源的需求以及等级确认，并做合理的规划和分配，来保障大促的流量急增时有足够的资源支撑运转。...故障发生后，我们要通过管控面进行及时下线或者替换，来保证集群的稳定性和业务的可用性。 第三点就是降级措施。我们的降级措施会针对不同的业务等级进行合理分配，尤其是大促的时候不参加压测的业务。...如果不参加压测，我们就会在大促前期进行业务降级，防止他们的突增流量影响大促核心业务，以保证大促时整体的集群稳定性。
那么为什么会出现各种类型的问题，这里分析总结了腾讯计费大促营销活动的几个特点： 1.活动链路很长，比如一个游戏中QB首充值赠送组合礼包的活动，用户一进来，要进行登录校验、大区查询、角色查询、风控检查、活动信息拉取...2.业务大促活动峰值与平时流量都是几十倍的差异，而且业务间的流量此起彼伏。公共平台的资源是有限的，不可能对不同业务每种活动类型不计成本的堆积设备资源。...业务大促活动期间，是存在相互干扰的，如果控制不当，单个业务的爆发式流量甚至会带来整个大盘的雪崩效应，这又该如何防范。...、时耗、错误码等对比分析；拨测验证也就是之前有讲到的业务场景拨测；那么管控平台就是将扫描和拨测两方面的结论综合起来，判断这次扩容变更是否准确，并提交给TSM大脑进行决策。...通过这样的方式来确保大促活动期间大盘不出现雪崩的风险。 腾讯计费大促活动自动化保障体系，也就是按五个思路来构建。
一次成功的大促准备不光是针对活动本身对系统和架构做的优化措施，比如：流量控制，缓存策略，依赖管控，性能优化……更是与长时间的技术积累和打磨分不开。...下面我将简单介绍支付宝的整体架构，让大家有个初步认识，然后会以本次在大促中大放异彩的“蚂蚁花呗”为例，大致介绍一个新业务是如何从头开始准备大促的。...，有机会实现100%的持续可用率； 该架构下业务级别的流量入口和出口形成了统一的可管控、可路由的控制点，整体系统的可管控能力得到很大提升。...基于该架构，线上压测、流量管控、灰度发布等以前难以实现的运维管控模式，现在能够十分轻松地实现。...2015年4月，蚂蚁花呗系统同步金融云的单元化的建设，即LDC，使得数据和应用走向异地成为了现实，具备了较好的扩展性和流量管控能力。
运营大促就是根据不同产品策略目标，对多个产品设计不同的创意玩法及套餐方案，集成整合进行大规模的限时售卖活动（如：新春大促、618年中大促、双11大促等活动），为业务及品牌提供明确、连续、一致的销售增长，...运营大促设计难点 运营一般每年都会进行三场大促活动推广：新春、618、双11，而每期大促都需要不同的策略玩法去实现运营目标，给我最大的感触有以下两点： a）设计周期短 大促设计包含：1 个主会场 + 4...倒推法 以期望目标为基准，设计先行从后往前来推测已有条件，提前预估可能性的发生，主动沟通打破固定条件范畴，高效执行并设计输出，把控每个环节。...主题特色 主题特色指：从大促的主题出发，考虑产品每期的策略及定位，在品牌调性上进行环创设计，增加一些个性化的设计创意，例如： · 新春大促：为让用户感受新年的气氛，在品牌色系上融入一些暖色系并增加一些新年元素进行点缀设计...一些小故事 在 2019 年末的时候，运营团队就开始了新春大促设计，加上UI开发历时两个月。
预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。...任务拆解&组建团队 任务拆解 任务拆解即将下述备战阶段的各个一级目标，拆解为多个更详细的二级甚至三级任务，并且对应到人和时间。...，包含技术和业务监控； 服务保护措施如限流、降级、熔断、灾备等； 资损防护处理，如异常流量、异常支付、舆情风控等； 技术方案评审 这里的方案主要包含2类： 压测方案：即本次大促或者技术项目的整体压测方案...：如非必要禁止线上变更，必须发布走审批，确保活动期间的线上稳定性； 流控检查：针对各应用核心链路接口及外部流量出入口进行查验，避免出现异常情况； 权限检查：针对服务保护相关系统的权限进行授权，便于活动期间及时排查解决问题...主动预案执行率和目标达成率越高，紧急和容灾预案执行率越低，证明预案更完善； 容量评估准确率：根据压测结果和资源成本以及实际的使用量，评估容量的精确性不足之处，为容量规划和成本管控提供决策参考； 压测模型准确率
时间紧任务重：大屏搭建整体时间范围在1个月左右，需要完成与业务方沟通确认细节、完成三方接口和三方屏人员质量把控以及完善平台不同场景相关预案并确认预案操作人等事项，预案涉及跨0点停数、制定大屏限流、代理数据源管控...基于JDV平台在大促期间的重要性及上面提到的各种挑战，在大促前期3月底就已梳理规划对平台进行大促技改事项，主要目的是提升大屏在复用性、实时监控、请求链路合理性、QPS管控等方向能力建设，下面将重点介绍平台在请求状态控制和实时监控方向的思考及技术方案...3.1 请求状态管控 背景：定时刷新和数据秒级更新是大屏的一个重要能力，大屏编排过程中能够灵活指定数据刷新间隔，当开屏的数量增加都会提升底层数据服务QPS压力，考虑到大屏定时发送请求的特殊性，可以通过控制页面数据请求轮询机制...具体细节如下： 识别大促技改：主要在大促前期研发已经识别出历来大促过程中的痛点，通过对大屏组件升级、QPS请求管控、代理数据源任务实时管控等功能上的优化调整，全面提升大屏搭建效率和降低对底层的访问压力，...多场景预案：为保障大屏满足各场景下都能稳定运行，基于用户访问限制、跨0点停数、数据双流切换、断网停数、大屏管控切换、视界硬件设备切换等都有相应操作预案，并针对作战指挥、京东视界、公关大屏场景进行停数和预案演练
一次成功的大促准备不光是针对活动本身对系统和架构做的优化措施，比如：流量控制，缓存策略，依赖管控，性能优化……更是与长时间的技术积累和打磨分不开。...下面我将简单介绍支付宝的整体架构，让大家有个初步认识，然后会以本次在大促中大放异彩的“蚂蚁花呗”为例，大致介绍一个新业务是如何从头开始准备大促的。...，有机会实现 100% 的持续可用率； 该架构下业务级别的流量入口和出口形成了统一的可管控、可路由的控制点，整体系统的可管控能力得到很大提升。...基于该架构，线上压测、流量管控、灰度发布等以前难以实现的运维管控模式，现在能够十分轻松地实现。...2015 年 4 月，蚂蚁花呗系统同步金融云的单元化的建设，即 LDC，使得数据和应用走向异地成为了现实，具备了较好的扩展性和流量管控能力。
1.1 什么是电商大促 电商大促是电商平台组织的一种大型销售推广活动，目的是通过提供各种优惠、折扣等方法，提高商品销售额和网站流量，增加消费者的购物欲望，以实现销售目标。...2.2 电商平台下的系统链路划分 基于上述内容，可以基于营销、交易、仓储、配送、售后来划分京东零售整个系统的业务链路环节初步划分，从大促活动来看营销是吸引流量、聚集流量、进行流量转化的手段，属于整个大促活动的核心环节...这块应该更多面对的是热点流量峰值的不确定性、用户行为的不确定性以及安全攻击等风控行为，需要结合风控团队对于黑产异常流量、异常IP、Cookie自动加入黑名单进行限流操作；同时结合大促压测进行压测指标评估...，结合大促预期目标对于系统应用有个合理的阈值和水位管控。...笔者认为需要有严格清晰的备战路线和里程碑，关注的重点事项以及日例会进行事项跟进和同步，因为当人数超过几十人以后，大促备战更多的是管人、管流程，而不是管应用，所以需要责任到部门、到个人，紧抓流程，同时日例会及时信息沟通减少信息变更差
今年是我的第6个618，因为入职的时间比较"合适"，使得我经历了每年两次完整的大促备战。...这里面笔者总结有分离技术、缓存技术、SQL优化、快速失败、降级限流和临近管控。...临近管控 前几天，我们的欧指导还在内部备战例会上强调过一个事情，如果某个机房机器的网卡出现故障甚至某个机房整个网络出现故障，应该如何应对，当然第一时间是要把流量切走。...那么从一个月前开始备战到现在临近大战来临，在临近的这段时间我们能做的而且最有效的管控措施就是对监控的差缺补漏。我们称之为临近管控。...本文部分内容摘自新书《架构修炼之道》第9章容错之道中的 "大促备战都备什么" 一节。
得物一般是建立变更故障防控、大促故障防控、日常故障防控，对软件问题进行预防，从微服务本身、微服务上下游依赖、微服务依赖的技术环境三个部分梳理潜在问题，并提前做好相应预案，在问题发生时可以通过执行相应的预案来预防和进行故障的快速恢复...3）人为问题，一般涉及到各种线上误操作，通过软件产品自身的完备性、成熟的技术规范、操作 SOP、管控措施、CheckList 来应对。...大促整体备战，顾名思义从全局视角关注突增流量对全域买家链路的影响，确保在大促当天这些核心买家链路应对突增流量的稳定性。...、压测与复盘； 架构治理：架构分析与核心链路梳理、慢链路治理、DB 治理、Redis 治理、JVM 治理、定时任务 / 数据回流与商家后端管控； 资损防控：梳理资损点、应急工具、处理 SOP 等； 应急工具...曾负责 2 次 S 级大促以及多次的域内稳定性保障，在架构设计与治理、大促稳定性保障有较多实战经验和体系化思路。
营销权益平台也是京东科技集预算管控、发奖（领券）、权益投放、权益核销及权益结算于一体的、安全的、稳定的统一的营销平台，以大支付场景为基础，深耕于京东体系内外场景，并已经全面接入零售场商详、购物车、结算页...外部监控机制保证：设定日常及大促人工巡检及系统自动巡检相结合的方式，自上及时方案接口调用方系统性能，自下监控系统依赖放接口性能，并建立研发值班及专项沟通群等方式，及时响应。...3.2 事中（管）-操作安全保证 除了事前的制度安全保证，运营在使用安全运营平台及活动创建过程中的管控更加重要，事中的管理上主要围绕以下三个方面进行：运营操作安全管控、系统操作管控及用户体验管控；...专项监控：设置监控专项机制，针对重大活动上线、主要业务及重要节点（如大促）进行专项监控，大促期间重点监控鉴权核销数据，并进行异常数据报警预判风险。...以上四节介绍了京东科技权益营销系统是如何从全生命周期进行权益管控的，以及体系的说明了京东科技权益安全管控方案，并详细阐述了金融业务的权益营销和零售业务的权益营销的区别，同时期望读者从中可以提炼出营销权益平台是如何实现跨业务线联合拉新促活的系统实现方案
2019年“618大促”告一段落。作为上半年规模最大的促销活动，各大电商平台给出了最大的优惠力度，成绩也都再创新高。 为保障大促顺利进行，腾讯云提前调度资源、组织驻场团队，提供了全方位的保障方案。...今年“618大促”期间，腾讯云新增的计算资源相比去年翻了一倍，整体的CDN和带宽峰值较去年也有明显提升。...腾讯安全也一路护航，本次“618大促”期间，电商平台的“活动防刷”总防护次数达到16亿，防护住2.7亿张优惠券，保证不被恶意薅走。...弹性应对流量峰值 虽然都是大促，不同电商平台的模式不同、促销策略不同，流量峰值出现的时间也不同。比如，京东在6月18日凌晨，流量猛增，早就“加车完成”的买家目的明确，到点就抢。...大促过后，电商业务恢复到正常状态，不再需要额外的计算资源。腾讯云的弹性扩缩架构，可以将资源回收，让客户的成本更可控。 抗D 大促期间，腾讯的安全能力可以为电商平台提供铠甲。
近日，腾讯安全战略级新品——SaaS化云防火墙宣布正式升级到V1.6.0版本，在原有互联网边界防火墙、VPC间防火墙基础上，新增NAT边界防火墙，三道墙统一防护，精细化管控企业内外部流量，并结合安全策略和防御能力升级...云防火墙2.jpg 作为腾讯云原生的新一代防火墙，腾讯云防火墙与腾讯云网络架构和IT架构强关联，集成腾讯安全全球威胁情报库和20多年安全运营经验，是云上流量安全中心和策略管控中心，并基于SaaS化一键交付...自动化威胁拦截，一键封禁海外IP 威胁拦截策略上支持地理位置规则，一键拦截海外IP访问；支持配置NAT边界访问控制规则，可基于CVM颗粒度进行网络流量过滤与管控；基于威胁情报，可实现出站情报在NAT边界防火墙上的自动拦截...目前，腾讯云防火墙已经在重保、互联网暴露的漏洞防护、主动外联管控和VPC间访问控制四大场景打造最佳实践。...作为云端基础安全设施，未来腾讯云防火墙将逐渐深入企业的内部流程和业务场景之中，更好地服务企业网络流量管控与资产防护，并进一步提升云上企业的整体安全水平。 云防火墙长图.png
因此需要一套严格的流程管控和响应机制，以及高效的团队协同体系。 当然，由于成本和风险问题，全链路压测本身只适合部分企业，而非一个放之全行业通用的技术银弹。...下面是一个在电商企业双11大促时候的生产全链路压测实施过程，仅做示例参考。 执行压测和问题处理 生产压测其实和我们日常的压测没有太多区别，也是需要经过多轮的压测实施和问题分析定位优化才能完成。...由于生产压测大多是在流量低峰的夜间进行，压测实施时间有限，一般比较复杂的性能问题都是在事后线下环境进行优化验证。而且涉及到比较复杂的业务场景和系统调用关系时，也很难快速的找到性能瓶颈。...数据准备不足和数据预热问题； 各团队资源投入度和信息同步问题； 基础的技术平台支撑问题（快速发布、紧急扩容、监控告警）； 前期的技术准备和梳理不足（如链路依赖及限流降级熔断措施）； 线上操作流程和权限管控问题...发布上线和封版值班 在类似双11大促这种大型业务营销活动的稳定性保障时，需要注意如下几个方面： 原则上除了和大促相关的变更，其他需求变更或者配置变更都需要顺延； 活动开始前和业务产品明确封版时间，避免版本发布导致链路依赖的变化
作者 | 陈跃泉、涂成义、马忠成 策划 | 蔡芳芳 随着苏宁线下线上业务以及全产业、全业态规模式快速增长，特别是每年苏宁 818 大促、双 11 等大促节点，销售订单基本都呈现倍数级增长态势，需要进行大量资源扩容...混合云降低持有成本：由于电商业务的特殊性，大促流量与平时流量相差上百倍，大促期间将流量划拨到公有云，在多活能力的基础上，实现私有云与公有云混部，降低私有云长期持有成本。...2、混合云部署 苏宁业务系统大促流量是平时业务流量的十倍甚至上百倍，日常资源都是按照大促的峰值进行准备，资源持有和运维成本较高，资源采购，上线周期较长。...因此大促期间，通过将部分流量弹到公有云，利用公有云的弹性能力，为私有云进行削峰，大大降低苏宁私有云长期持有成本，以及运维成本。...混合云相比原有多活需要做如下的能力拓展： 安全管控：公有云与私有云属于不同的信任域，对于公有云与私有云相互访问进行管控，确保混合云网络之间安全；以及公有云数据存储安全管控。
主要通过“库存扣减逻辑管控及数据库层交互”、“缓存层交互”，以及“任务调度”三个关键应用，承载库存逻辑计算及存储层交互能力。...“库存预占”主应用：CPU使用率≤15%，内存使用率≤35% “库存扣减逻辑管控及数据库层交互”应用：CPU使用率≤18%，内存使用率≤65% 数据库：CPU使用率≤7.8%（无慢SQL） 基于当前的系统性能体现...大促开门红至11.11 缓存命中率趋势 系统整体可平稳承载流量，同时缓存命中率曲线，有一定的提升空间 预热思路：如何尽可能保持在大促等特定时段的缓存有效性，提升缓存命中率（降低击穿概率），可通过前置的多维度分析调研...缓存预热实践：通过对某客户大促前集中采购期及大促节点SKU品类重合度分析，发现以下规律 集采入视角：大促集采期SKU品类，相对开门红品类重合度≈69%，相对11.11品类重合度≈75%。...下图分别为调整前、后调用量分布，用以对比 3.5 性能风险前置识别 压测实施阶段不是发现性能隐患的唯一阶段，如果有能力在流量分析阶段识别性能风险并推动论证，问题发现越早，风控代价（资源）越小，质量风险越低
正是有了调用链跟踪功能，阿里巴巴的服务化平台从一个无服务管控状态变成为一个具备真正可管可控的状态，形成了完善的服务化管控体系。 服务调用链分析。...业务实时监控：将发生的业务指标变化在秒级就体现在业务大屏上。有了这样的业务实时大屏，给市场运营人员提供有价值的参考数据，真正对企业的运营提供了精准有效的数据支持。...原理：通过秒级获取服务器系统运行指标以及业务指标，通过流量调度平台设置的决策算法以及规则，当发现满足规则条件的指标状态发生时，对线上环境的服务器进行下线等操作，以屏蔽这些单点或局部出现故障的应用实例对整体平台产生扩展式的影响...容量压测及评估规划： 需求：要知道一个平台的处理能力是否能支持大促活动的访问量，最常见的方式是对平台进行性能测试。 容量压测：将线上真实的流量引流到压测目标服务器上，来获取单机QPS能力。...容量规划：利用服务的单机QPS数据，结合对各种服务器机型处理能力的差异化分析，对到底需要部署多少线上服务器资源才能满足大促活动有更准确的预测。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
