Tech 导读 压测是目前科技企业及传统企业进行系统容量评估、容量规划的最佳实践方式，本文将基于京东ForceBot平台在大促(京东618、京东双11)备战中的实践历程，给大家分享平台在压测方面的技术变革...压测方式 流量回放：支持离线流量文件回放与实时流量引流两种压测方式，并能根据对流量的需求动态调整流量脉冲的大小； 流量模拟：根据业务配比模型对业务链路的入口系统进行流量模拟，以保证业务链路上的每个系统都能满足配比需求...2.全域流量录制回放 高保真压测的核心在于如何构造真实的压测场景，线上真实用户行为的流量是最为真实的流量数据，所以为提升压测场景中的数据质量，流量录制回放技术便成为一个专项研究的内容，如何将线上流量无损的录制下来...图二 公网流量录制回放流程图 （1）公网流量录制回放全景 录制：流量由IDC机房的核心交换机的分光口复制到流量文件中并存储到CFS中(类似网盘)，此方式因流量从光层进行录制，故对应用无任何性能损耗； 回放...，但因可灵活控制流量录制的采样率或采集的服务器数量，所以这方面的风险可根据需要进行有效的控制； 此技术可支持HTTP、RPC等多种协议的录制，可满足内网复杂的多协议相互调用的流量录制解决方案。
0909 banner.png 背景 Shopee 每年都会举办几场重要的大促活动。大促过程中，营销小游戏是吸引流量的主要渠道。...本文将介绍大促中最常使用，同时在线人数最多的游戏——Shopee Shake——如何应对大促的大流量冲击，保证系统的可用性，为用户提供稳定可靠的服务。 1....1.1 大促游戏的选择 在大促筹备阶段，当地运营人员会根据大促时间表，在游戏管理平台设置游戏活动的开始时间、结束时间、奖池及页面素材。...每次大促时，Shopee Shake 都会带来大量用户流量。2021 年 5.5 大促时，该游戏接口最高 QPS 达到 30 万+，在大促过程中发挥了重要的引流作用。...面对大促，团队应该要做到以下几点： 要充分了解业务的特点，设计出符合业务特点的技术构架，并且全面考虑高并发场景，综合运用高并发技术； 要充分了解大促流量分布情况、流量预估，做出合理的容量规划； 要通过各种外部系统
为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越来越多的0级系统建设双流，以保证日常及大促期间数据流的稳定性。建设核心数据链路双机房，双流双活。...2.1 双流憋坝压测 从21年大促备战开始，大数据侧核心数据链路，从单模块单任务的压测，转向全链路憋坝压测，把泄洪闸口上移，压测范围覆盖更广，流量和交易同时泄洪，高保真大促网络峰值，资源竞争场景，同时数据产品...（黄金眼、商智、作战指挥室大屏）会在泄洪时同时进行读查询的压测，模拟大促读写峰值并行的真实大促场景。...2.3 双流憋坝的压测方案 （1）交易的憋坝方式，通过停止同步任务憋单 ，交易双流架构图如下所示： 图1.交易双流架构图 （2）流量的憋坝方式，流量无损憋坝压测是通过停止采集服务写JDQ写集群的方式憋流...topic即可 B、流量不是消费采集服务直接吐出的topic，消费的是流量实时数仓及以下链路的topic，也是双流双活，切换消费到非压测机房对应的topic即可 04 总结 理解，首先 MCube
2.业务大促活动峰值与平时流量都是几十倍的差异，而且业务间的流量此起彼伏。公共平台的资源是有限的，不可能对不同业务每种活动类型不计成本的堆积设备资源。...业务大促活动期间，是存在相互干扰的，如果控制不当，单个业务的爆发式流量甚至会带来整个大盘的雪崩效应，这又该如何防范。...如何评估大盘的容量瓶颈 说到大盘容量，大家都会想到春节红包或者双十一大促这样的大流量场景，都需要提前压测的方式来评估容量的瓶颈。...在这里的自动化扩缩容设计里，现网大盘由服务组成，服务由系统实例组成，而实例承载的基础是腾讯计费自研的TDF程序框架；扩缩容的核心大脑就是TSM自动化管理平台，压测平台周期性压测现网容量，现网内存、负载、时耗、流量等指标也会分钟级采集汇总...通过这样的方式来确保大促活动期间大盘不出现雪崩的风险。 小结 腾讯计费大促活动自动化保障体系，也就是按五个思路来构建。 一是大盘容量的压测机制。
2.业务大促活动峰值与平时流量都是几十倍的差异，而且业务间的流量此起彼伏。公共平台的资源是有限的，不可能对不同业务每种活动类型不计成本的堆积设备资源。...业务大促活动期间，是存在相互干扰的，如果控制不当，单个业务的爆发式流量甚至会带来整个大盘的雪崩效应，这又该如何防范。...说到大盘容量，大家都会想到红包或者双十一大促这样的大流量场景，都需要提前压测的方式来评估容量的瓶颈。...在这里的自动化扩缩容设计里，现网大盘由服务组成，服务由系统实例组成，而实例承载的基础是腾讯计费自研的TDF程序框架；扩缩容的核心大脑就是TSM自动化管理平台，压测平台周期性压测现网容量，现网内存、负载、时耗、流量等指标也会分钟级采集汇总...通过这样的方式来确保大促活动期间大盘不出现雪崩的风险。 腾讯计费大促活动自动化保障体系，也就是按五个思路来构建。
由于今年我司要搞双十一大促，因此全链路压测中很重要的一环——容量测试和容量规划被列入了待办事项。...问题：涉及到热Key、大Key问题，建议提前进行大Key治理，热Key散列分布（记得检查会话保持策略）！...3、全量推送 对于电商业务而言，经常会有一些消息或者活动推送的玩法，建议选择在活动推送期间的峰值流量来作为数据采集场景的流量参考； 敲黑板：全量推送后会有一小段的高峰流量涌入，会对整个系统服务产生一定的影响...六、获取投放引流 运营投放引流的渠道、力度以及转化率是很重要的一个参考指标，可以让我们对大促时期的预期流量有更准确的预估。...主要从如下三点来考虑： 1、时段 一般来说，电商这种大促，都是从月初持续到活动当天，不断蓄水炒氛围，活动当天流量达到峰值，然后有2-3天的返场，总体来说时间大概为半个月左右。
二、本章诉求 一般一套成熟并且稳定、经得起实际大促场景考验的秒杀系统，都是经过不断迭代、优化和演化而来的。...没错，秒杀系统的瞬时流量是巨大的，如果秒杀系统的流量与其他业务系统的流量不加以分离处理，其他系统势必会由于巨大的瞬时流量而导致各种连锁问题，所以，在设计上，务必将秒杀系统与其他业务系统的流量进行分离。...，就会将瞬时的大并发流量分散到一小段时间内。...5.4 网关限流 网关一般是一个系统的入口，可以在网关层对流量进行限流，对超出当前系统流量阈值的请求根据一定的策略进行处理，例如拒绝超出当前系统流量阈值的请求，快速返回失败，也可以将超出阈值的流量缓存起来进行排队...5.7 安全校验 安全校验就是要识别出请求的流量哪些是安全流量，哪些是不安全的流量，这里说的不安全的流量指的是友商、黄牛党或者不怀好意的用户发起的刷单流量、CC攻击等，这种流量对系统是有害的，能够消耗大量的系统资源
主动监测是使用SDK在APP编译或者运行时自动地对代码进行注入下发监测任务，模拟用户真实请求，然后动态采集上报数据的一种技术，主动监测可以根据需要均衡采集，避免全采样或者频繁上报数据导致用户移动数据流量的流失...https、调整加速资源、调整解析调度策略等变更对用户页面加载速度的影响，可以检测出现异常时是否由CDN引起的，我之前碰到过一起支付成功页证书连接不安全的问题，由于下发资源是千人千面的，同时JS回调中混着非京东域名图片连接...另外在大促高峰时期，可能需要借助第三方CDN提供商抗量，我们可以监测对比各三方的加速效果，包括但不限于可用率、下载速度、覆盖率、DNS解析时间、首包时间、建连时间，同时可以监测第三方证书配置情况 ...最后说说网络劫持监测,流量劫持一般是通过链路劫持插入特定报文或者抢答，另外一种是DNS劫持，它返回非真实网站IP地址，这两种都会使得客户端获取到错误数据，进而显示广告或者点击弹窗跳转，网上有一个前端神器...我们可以利用这些特点进行异常检测，另外可以利用白名单机制维护元素域名白名单、主机IP白名单、CNAME信息，但是会造成APP动态加载配置数据膨胀，需要一定的取舍，重点保障核心利益域名 DNS劫持涉及到买卖流量这个灰色产业链
我们可以称之为沉浸式或浸入式的媒体。作为一种体验，人们对这方面的需求，或者愿望可以追溯到很远。广义上来说，通过音视频的技术，产生身临其境的感觉，就叫做浸入式的媒体。...对我们整个的传输，网络，各个方面影响都是非常大的。所谓3自由度，6自由度，整个过渡的过程中，可能还会有一些中间阶段，取决于具体的技术实现方法。...前面就是采集部分，这部分并不是MPEG本身研究的范畴。采集完以后，投影展开虽然不会制订在标准里，但它跟标准是相关的。简单地像地图那样的展开， 我们都知道那样的效率不是很好，还有很多其他的办法。...那么整体传输的流量是非常大的，怎么才能够非常有效地在现有网络上逐步实现？需要一个有效的解决方案。另外就是延时问题。...当然，流量和延时可以有一定的互换性，如果传的东西非常多，可能延时就容易解决一些，转头的时候信息都能有。但是如果说没有那么大的流量，可以在FOV里传的质量非常高，而在其他地方，不需要传那么高质量。
背景 前不久，因为公司业务需要，需要解决在大促场景下后端业务的热点缓存问题，所以研究了下缓存热点解决方案。...很多公司的缓存都是基于redis来做的，redis的性能其实已经足以能应付大部分的场景，但是对于大促期间或者活动抢购期间的某个爆品，可能会出现在几秒时间内流入大量的流量，由于某个爆品的数据在redis...并且京东内部也用Hotkey实战了618大促，稳定性有所保障。...如果你觉得上述的描述过于难以理解的话，那么直白点说就是： 比如某个活动大促期间有个商品S001进行抢购，有大量的流量进入了商品详情页面。...非幂等性的接口，即便是相同参数，每次返回也会不一样。那就不建议做热点探测。比如下单，库存的查询，余额的查询。这样的接口如果一旦被升级成热点。那会影响业务界面的正确性和后续逻辑的判断错误。
交易系统承担了整个交易链路上的所有交易相关的流量，同时交易系统上时常会组织一些营销，大促相关的活动，所以需要面对着因大促造成的瞬时流量激增的情况。...而针对于流量激增情况时，系统会有什么表现呢？ 流量激增时会伴随着因激增流量造成的系统CPU / Load的飙高，机器告警频繁。...限流是面对瞬时流量激增的通用方案，在商业大促和社会化爆点新闻相关的系统中都会用到，同时也是系统常态下有效的保护手段，在因系统面对大于自己所能处理的流量时，先拒绝为敬。...自动降级是基于熔断手段，采集时间窗口内服务的调用情况，调用失败 / 成功次数，依照失败率而操作是否进行自动降级。 做降级处理之前，我们需要考虑，系统接口之间的依赖关系，是强依赖还是弱依赖？...健康体系，谷歌提出来四项黄金指标： 延迟：响应时间 流量：请求量，QPS 错误：错误数，错误率 饱和度：资源利用率 云原生时代监控体系的实现往往是通过应用 / 节点暴露端点，监控服务采用pull方式采集指标
本文将探讨领域大模型发展的两条道路：非浸入式与浸入式的模式，并审视这场变革是否真正触及了思维模式的转变。大模型，不仅是对于技术的挑战，更是对于我们认知边界的一次拓展。...目前来看，有两种方式：非浸入式，和浸入式。 领域大模型的初级模式：非浸入式 先来看非浸入模式。 这种模式并未强求企业系统从根本上进行重构，而是选择了一种相对保守的途径：通过API调用外部大模型的能力。...更关键的是，非浸入式模式没有实现大模型与底层数据，以及其他业务模块的有效互动。数据是人工智能发挥作用的基础，而在这种模式下，大模型往往缺乏对企业内部数据的深度接入和理解，这严重限制了其应用的效能。...没有充分链接内部数据，大模型很难真正理解和预测业务趋势，也就无法发挥其应有的作用。 可以预见，非浸入式模式下的大模型，通常只能应对一些简单、规范化的场景，比如常见问题的自动回答、标准文档的生成等。...在更加复杂的业务逻辑面前，这些大模型的功能显得力不从心，难以提供实质性的帮助。 以BI产品为例，非浸入式接入大模型，在处理单一数据点或简单的数据分析任务时表现尚可。
吊诡的是，社交平台和内容平台都是去中心化的，以“信息流”的模式，在这些平台投放电商大促的广告，根本无法形成话题从而惊艳全场。...这样的广告投放怎么可能引起哪怕一丁点的618大促的水花呢？...内容平台的电商化让618这样的电商大促加速了“存量博弈”，它们的目的很明确：保收益求增长。...又有多少商家能够挤进“自营”的门槛获得大促的短期爆发式销量增长？ 如果无法进入京东的自营体系，商家们该如何在京东的开放平台获得大促的销售增量？...在京东和天猫的体系里，非TOP的占大多数的商家，实际上都是弱势群体！ TOP商家曾在二选一的泥塘里左右为难，现在在ROI里叫苦不迭。
作者：tinker 导语：云原生日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志数据解决平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务...CLS凭借其开箱即用的接入方式、弹性的架构及丰富的产品功能帮助非码科技解决了线上点餐领域流量波峰波谷、旺季与淡季的资源弹性扩缩容等场景问题，极大地降低了运维成本。...品牌商的商业行为具有极大的不可控性，存在不定时活动大促等商业营销行为，沟通&容量评估周期短等问题；同时存在瞬时流量高峰5-10倍、订单量随季节波动明显等情况。...检索统计数据延迟 受流量高峰的影响，在自建ELK的方案下，检索统计数据延迟接近30分钟+。 CLS解决方案 CLS为非码科技提供了PB级别的弹性扩容和实时查询的功能，一键部署，开箱即可用。 1....image.png 结语 日志服务CLS帮助非码科技解决了流量波峰波谷、旺季与淡季资源弹性扩缩容的场景问题，极大地降低了运维成本，并提供了丰富的仪表盘可视化图表，助力非码实现高效运维和运营。
2.1 大促全链路的风险和挑战 2.1.1 全球最大洪峰下的高可用挑战 2019年双11零点交易峰值是2009年的1360倍 2018年收货地址不可修改 2.1.2纷繁复杂的用户场景 2.1.3 无处不在的用户体验...预测和各个后端的比例 压测模型要和大促玩法深度结合 构造压测模型 2.2.3 全链路压测执行策略 1 千万级的施压能力 压测引擎结构图 2 压测执行策略 脉冲压测 摸高 限流验证 破坏性测试 2.2.4...本次大促线上报名数据分析 历史交易订单分析 4 预演环境准备 应用部署环境：多地多单元部署、云环境、非云环境 无线客户端测试包 无线网络环境：内网环境、外网环境、WiFi、4G 2.4.4 预演执行策略的制定...全民预演轮次及内容 2.4.5 预演问题收集及跟进 当日复盘模式进行复晒 201.9 延迟修复140例 告知客服，安抚客户 2.4.6 大促持续集成 2.4.7 全民演练支撑平台 1 准备过程自动化...预案开关 预案：提前预案，应急预案 2.5.1 预案的使用场景 1大促预案 2日常预案 2.5.2 预案评估方式 1 强弱依赖是服务预案的必要条件 2 预估流量、压测验证、确定外部服务是否需要提前降级
大促质量保障 全链路压测 全链路压测是以全链路业务模型为基础，将前端系统、后端应用、中间适配层、DB等整个系统环境，完整得纳入到压测范围中，以http请求为载体，模拟真实的用户行为，在线上构造出真实的超大规模的访问流量...登录和非登录会做业务支持上的区分，登录用户会通过login集体登录预热，携带打标cookie。...每年大促，在所有业务需求整体发布之后，会邀请产品、运营、开发、测试、CCO等多种角色集合到一起，对整个大促期间核心玩法进行全民的测试和验收。 预演组织管理 用例录入、任务分配。 数据构造。...资损防控 大促资损防控怎么做？...； 作战计划：大促值班计划，资损监控问题（如bcp）反馈群，跟进goc反馈问题，进行记录及风险评估； 复盘：大促复盘，当天问题分析，后续改进建议。
每年一次的双十一大促临近，因此上周末公司组织了一次技术交流闭门会，邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛，一起探讨了一些大促稳定性保障相关的技术话题。...大促典型场景及优化方案 1、云资源稳定性保障 单云模式存在一定稳定性风险，混合云架构在容灾方面效果更好； 核心链路梳理，可以将历史大促或者峰值的访问URL存储起来，经过处理后作为核心链路参考； 验证线上的性能容量搭建单独的仿真环境...，为了避免和线上不一致，可通过一套标准的脚本来进行检查配置； 弹性伸缩容：设置动态扩缩容，超过固定的比例阈值，进行动态扩容（双十一零点峰值时候慎用）； 云资源保障方面，和云厂商提前沟通，尽可能将没有大促业务的公司服务器资源和自己公司放在同一个可用区或机房...采用MySQL的并行复制+写操作不刷盘方式； 非交易业务的查询放在备库，降低主库压力； 梳理落地SOP机制，遇到问题时首先快速线上止血，解决故障； 存在主备延迟情况，可以开启参数调整方式来处理(临时开启...然后针对性的方案，可以降低已知的风险； 2）紧急预案：假设出现重大的问题，才需要决策是否启用的方案（风险较大）； 3）预案平台：预案平台的目的是留痕，方便后续把预案恢复回来； 熔断 熔断下游强依赖的服务； 大促四板斧
品牌洞察市场状态可以从这些方面入手：1、市场整体环境趋势；2、锁定增长渠道；3、追踪竞品增长趋势；4、锁定重点产品属性；5、洞察热销区域分布；6、定期复盘大促行为等，具体如下所示：1、市场整体环境趋势...3、追踪竞品增长趋势 定期追踪复盘竞品渠道分布、产品定价、大促行为及上新情况，及时调整自身可行的发展计划及经营策略。...6、定期复盘大促行为 定期对比自身品牌与竞品在大促期间的实时销售表现，合理评估大促效果，及时优化策略，建立与竞品的竞争优势，为下次大促打好基础。...解决痛点：不能合理评估大促营销策略及大促效果，无法了解竞争优势，无法有效准备下一个大促我们在信息搜索、数据采集、数据可视化方向有多年积累。...现有产品包括观向数据和观向报表，观向数据专注于互联网和电商领域的数据采集分析，为品牌企业提供行业分析、渠道乱价监控、全网公开数据采集等服务；观向报表用于数据可视化和BI分析；
新版本的数据模型进行了分层： 第一层是数据采集，支持多种数据库中的数据采集，同时将采集到的数据放入消息中间件中； 第二层是事实明细层，基于TT的实时消息产生事实明细表，然后再写入TT的消息中间件中，通过发布订阅的方式汇总到第三...Flink目前提供了较好的优化方案来解决该问题： 大促场景：该场景下，菜鸟会提前预估该场景下的 QPS，会将其配置到作业中并重启。...日常场景：日常场景的 QPS 峰值可能远远小于大促场景，此时逐一配置 QPS 依然会很复杂。...对于主备切换，前面提到的左右两侧分别是物理表和逻辑表的场景中，一个逻辑表可以映射成主备链路，当主链路出现问题时，可以一键切换到备链上； 此外，大促期间一些非常重要的业务，如大屏业务、内部统计分析等，会通过主备链路同时进行操作...实时压测在大促期间比较常用，通过实时压测来模拟大促期间的流量，测试特定的 QPS 下任务是否可以成功执行。
，有以下几种方式： ①、埋点采集：即在系统的各个节点，根据需要添加埋点，针对性的进行数据采集； ②、日志/数据库：通过日志服务（比如ELK）或者运维监控（现在很流行的Devops），采集分析数据； ③、...Agent/探针：在需要采集的节点添加Agent/探针，实时采集，数据存入时序数据库（比如influxdb），实时展示； 3、注意事项 ①、采集对比的数据一定要采集线上的真实数据，这样才能反映真实客观的系统压力...（比如双十一，大促，秒杀） ②、为了双 11 、促销、秒杀、渠道拓展引流等业务需求，需要扩充到什么数量级的服务，才能即保证系统的可用性、稳定性，又能节约成本？...2、容量规划四步走 ①、业务流量预估阶段：通过分析历史数据以及实时的线上监控，预估未来某个时间点或者某个业务可能会有多少多少的流量冲击； ②、系统容量评估阶段：根据具体的业务场景，分析每个业务场景的流量配比...：根据压测的结果，设定限流、服务降级等系统保护措施，来预防当实际流量超过系统所能承受的最大流量时，系统无法提供服务； 3、扩容手段 ①、垂直扩容 升级服务的硬件配置，让单个服务节点的容量更大，来提供更高的系统服务能力
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
