首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

vivo商城促销系统架构设计与实践-概览篇

基于这些痛点问题,我们一期完成促销系统的独立,与商城解耦,搭建出促销系统核心能力: 优惠活动管理 对所有优惠活动抽象出统一的优惠模型和配置管理界面,提供活动编辑、修改、查询及数据统计等功能。...面对新品发布、11大为客户等大流量场景,如何满足高并发场景下的高性能要求。 面对来自上游业务方的不可信调用,以及下游依赖方的不可靠服务等复杂系统环境,如何提升系统整体的稳定性,保障系统的高可用。...3.3 系统稳定性 限流降级 基于公司的限流组件,对非核心的服务功能进行流量限制与服务降级,高并发场景下全力保障整体系统的核心服务 幂等性 所有接口均具备幂等性,避免业务方的网络超时重试造成的系统异常...熔断 使用Hystrix组件对外部系统的调用添加熔断保护,防止外部系统的故障造成整个促销系统的服务崩溃 监控和告警 通过配置日志平台的错误日志报警、调用链的服务分析告警,再加上公司各中间件和基础组件的监控告警功能...,让我们能够第一时间发现系统异常 四、踩过的坑 4.1 Redis SCAN命令使用 在Redis缓存数据清除的处理过程中,存在部分缓存key是通过模糊匹配的方式进行查找并清除操作,底层依赖Redis

10.5K11

生产环境中的面试问题,实时链路中的Kafka数据发现某字段值错误,怎么办?

提前做好资源保障、任务优化等措施; 设置延时基线,通过优化程序代码、资源、解决倾斜与反压等问题,使其控制在基线内; 指标监控,监控任务FailOver情况、CheckPoint指标、GC情况、作业反压等,出现异常告警...例如: 数据源层原始数据包含不同联盟的点击数据,那么数据处理层过滤掉不需要的联盟点击数据,并将目标联盟的点击数据根据媒体和创意信息补齐当前点击所属的账号、计划、单元; 业务层根据媒体,账号、计划、单元不同维度计算出对应的点击总量...任务分级 制定保障等级,从任务影响面大小、数据使用方来划分,一般情况公司层面优先于部门层面,外部使用优先于内部使用,高优先级任务需要优先/及时响应、必要情况下做链路保障机制。...做好指标监控 指标监控,监控任务failover情况、checkpoint指标、GC情况、作业反压等,出现异常告警。...高可用HA 整个实时Pipeline链路都应该选取高可用组件,确保理论上整体高可用;在数据关键链路上支持数据备份和重放机制;在业务关键链路上支持跑融合机制 监控预警 集群设施层面,物理管道层面,数据逻辑层面的多方面监控预警能力

28620
您找到你想要的搜索结果了吗?
是的
没有找到

数据安全实践之数据安全日志审计平台

)】单账号访问单个接口大于【50】条日志 (3)数据量纬度:往往会发现一些对数据控制不严的接口 单个账号对某一数据接口累计获取去重后敏感数据大于【1000】条 (4)时间窗口:基于统计和平均值的告警,发现突发的异常行为的常用规则...3.告警信息查看 (1)告警事件信息与检索 基本包含的要素,可自行发挥:时间,账号,userIP,规则名称,访问系统,url,访问类型,匹配多少条日志,详情 检索信息:时间段,账号,IP,规则名称,访问系统...新增url接入检测,加入系统列表清单:系统名,业务线,url,加入时间,日访问量, 日志告警丢失,某个url连续【10】日没有日志告警:URL上线,下线手动添加/清除功能 异常日志告警异常日志打标后,...存储异常日志库,分析异常原因,安全告警应排除这类日志,会产生误报。...2.员工数据泄露事件取证与事件还原 系统接口的安全日志告警与DLP告警关联: 时间维度:在同一个时间段内,有前后关联的事件 人员维度:相同账号,相同IP,同部门,同岗位账号等 事件维度:相似的异常行为,

5.1K10

全链路压测(12):生产压测必不可少的环节

前言 全链路压测系列到这里,已经是第十二篇文章了,整个系列大概有14篇的样子,预计这个月会更新完毕。...生产压测会暴露很多问题,下面列举一些常见问题: 数据准备不足和数据预热问题; 各团队资源投入度和信息同步问题; 基础的技术平台支撑问题(快速发布、紧急扩容、监控告警); 前期的技术准备和梳理不足(如链路依赖及限流降级熔断措施...类似11这种大型的业务营销活动,预案也会分前置预案和活动预案以及紧急预案。...因为技术方面的监控,除了及时的告警通知之外,监控的及时性和准确性以及噪音,有时候会影响我们判断。这个时候业务监控大盘的作用就体现了出来。...业务监控大盘的目的在于:无论技术侧是否发现了问题,只要业务指标的变化数据存在异常,就需要及时介入观察。 如上就是生产压测比较重要的一些环节要做的事情以及注意事项。

1.8K20

APP测试工程师“养成”记(三)

真机的安装,卸载 2.第三方软件协助安装/卸载 3.模拟器上的安装/卸载 三、升级安装实用性 1.在线升级 2.渠道升级 3.商店升级 四、业务功能 1.业务逻辑 2.功能点 3.关联性 五、稳定/异常性...1.交互 2.异常 3.压力 4.遍历 5.固定路径压测 六、性能 1.基准性能 2.大数据 七、接口测试 1.场景测试 2.接口用例测试; 八、界面易用性 1.界面交互; 2.可用性 九、适配性...6.不同尺寸 十、平台兼容 1.阿里MQC 2.百度MTC 3.腾讯wetest 4.Testin 十一、专项测试 1.启动 2.流量 3.电量 4.GPU 5.CPU 6.内存 7.fps 十二...、权限 1.不同系统 2.不同品牌 十三、安全性 1.腾讯金刚网 2.apk反编译 3.敏感信息泄漏 4.文件夹权限 5.xss注入 6.账号安全 十四、数据安全 1.360/猎豹数据清除 2.不同安全软件对...apk包检测 十五、手机特性 1.刷卡待 2.多语言 十六、竞品对比 十七、测试常遗漏测试点 十八、建立良好的用户反馈渠道及提炼测试点 以上就是整体关于APP测试工程师,需要掌握的以及要学习的

1.6K10

serverless wordpress 三分钟快速打造属于自己内容网站

【腾讯云】尊敬的用户您好,您的腾讯云账号账号ID:10001....,昵称:....)日志服务(CLS)已开通,请登录日志服务控制台查看及管理。...有异常,注销应用: ? 重新解决问题后重新部署: 过程中会提示CLS日志服务开通,详细内容见手机短信提示 【腾讯云】尊敬的用户您好,您的腾讯云账号账号ID:100.........体验期发放代金券 【腾讯云】尊敬的用户,您的账号下(创建者账号ID:100......,昵称:100......)...,有1张30元的腾讯云 Serverless 优惠活动的代金券已到账,详细信息请前往微信小程序-腾讯云助手查看。 【腾讯云】尊敬的用户,您的账号下(创建者账号ID:100.........,有1张10元的腾讯云 Serverless 优惠活动的代金券已到账,详细信息请前往微信小程序-腾讯云助手查看。 操作成功,部署完成 ? 控制面板应用的主界面,有如下几个主体功能: ?

1.2K20

运维安全中的“福尔摩斯”

其实,我们的一些客户在使用堡垒机的过程中,可能也会碰到类似的事件,并且都通过堡垒机找到了相关的作案人员,下面我们分享三个发生过的案例 案例一 误操作导致主机异常 某政务网客户发现其内部一台重要服务器上出现异常报警...根据客户提供的服务器history日志相关信息,可以看到有人对该服务器keepalived的操作记录存在异常。...风险警示 对重要、高危、敏感的指令预先定义好命令控制策略,可以设置阻断、告警等行为,一旦触发策略就自动通知管理员。...通过会话日志反查操作用户,最终找到该行为的操作人员李某,其也承认是自己一时利益熏心,想利用运维账号窃取客户信息进行售卖。...网络安全专家建议 细化运维人员与主机授权关系 开启因子认证,提高身份可靠性 重要服务器启用二次会话审批 重要命令,高危命令进行审批及限制 重要数据服务器,限制文件的上传下载 - END -

1.5K70

抵御“内鬼”! 腾讯安全中心集成UEBA能力解决内部安全威胁

而在传统的防御体系下,由于缺乏对内网异常行为的感知,导致攻击者进入内网之后就防御失效,全程无感知,从而有可能为企业带来不可估计的损失。UEBA旨在解决内部设备或账号被控之后,对风险的检测和监控问题。...它主张从账号和设备的风险行为出发,通过对内网横向移动的检测,最终达到及早防范数据泄露的效果。...02 六大产品优势,打造内部威胁告警利器 UEBA用户实体行为分析,集中关注账号异常、设备异常、横向移动和数据安全四个安全场景,自建规则分析引擎、画像检测引擎、机器学习检测引擎对全网海量安全告警数据进行快速分析...二者结合将用户、账号、资产和应用上发生的各类异常和活动,以发生时间的先后关系串联成一条时间线,做持续的用户与实体异常行为检测。 ?...腾讯UEBA可以记录、分析此类帐号异常情况,并根据该帐号的可疑行为进行分析并及时告警

2.7K40

大国点名,监控护航

云监控是将指标、事件等类型的数据采集后,通过对数据的处理,可视化的展示给用户,并且在发生异常时,及时通知用户。...云监控以监控中台(数据处理加工)、业务告警告警配置)和 Dashboard(业务大屏)为一体,让客户只需腾讯云账号,即可完成全面的监控需求。...:客户通过云监控告警策略可自助订阅关心的云产品事件信息以及核心指标的异常信息; 角色参与:腾讯云支持子账号方式管理账号权限,因此,可对不同账号用户给予不同的云监控使用权限; 云监控在使用场景允许情况下支持自助数据消费...护航现场大屏 接入云监控的基础数据和业务自定义数据不仅可做大屏,相同数据源还可用于配置不同场景需求的告警策略,及时发现线上服务中发生的各种性能或业务异常问题。 ? 告警规则列表 ?...合理的使用云监控完成了七人普的监控护航,通过异常告警的接收,及时发现并处理了活动中的问题。

1.9K30

自动化运维平台Spug测试

初始化管理员账号admin,密码为spug.dev 2.登陆 http://172.27.34.51 ? 三、工作台 ? 工作台是一个概览,包含应用、主机任务、监控和报警等信息。...告警是以组的方式发送的,新建告警组test_team,将告警联系人loong576加入改组。 ? 十、监控中心 1.监控中心概览 ? 监控方式有四种:站点监控、端口监控、站点监控和自定义监控。...发现8808端口检测异常 2.1 微信告警 ? 2.2 钉钉告警 ? 2.3 邮件告警 ? ? 2.4 企业微信告警 ? 3....自定义告警的原理:通过脚本判断监控项,脚本执行退出状态码为 0 则判定为正常,其他为异常。 3.1 报警信息 微信: ? 钉钉: ? 邮件: ? 企业微信: ? 十一、系统管理 1.角色管理 ?...通过 十二、其它问题 1.root无法直接登录问题 1.1 问题说明 由于root用户禁止直接登录,新建主机时登录用户不能设置为root,否则会报错,此时如果需要执行需要root权限的命令时,需要加sudo

4.5K20

自动化运维平台Spug测试

初始化管理员账号admin,密码为spug.dev 2.登陆 http://172.27.34.51/ 三、工作台 工作台是一个概览,包含应用、主机任务、监控和报警等信息。...建群,选中群,添加群机器人 创建一个机器人 复制webhook地址 3.报警联系人组 告警是以组的方式发送的,新建告警组test_team,将告警联系人loong576加入改组。...提交后等待检测 发现8808端口检测异常 2.1 微信告警 2.2 钉钉告警 2.3 邮件告警 2.4 企业微信告警 3....自定义告警的原理:通过脚本判断监控项,脚本执行退出状态码为 0 则判定为正常,其他为异常。...通过 十二、其它问题 1.root无法直接登录问题 1.1 问题说明 由于root用户禁止直接登录,新建主机时登录用户不能设置为root,否则会报错,此时如果需要执行需要root权限的命令时,需要加sudo

2.6K00

大数据运维三十六计

第十六计:实时计算重要业务要通过链路灾备保证业务稳定性。 第十七计:大规模计算平台至少要能容忍单机故障,否则别让它上线。...他接起来,静静地听电话那头生硬的电脑语音播报:“异常告警,监控项disk_full状态critical,水位超过了90%,详情查看****。”...小明查看了整个集群的存储水位,分析了增长趋势,查看了TOP N目录,整体看下来没有发现当前突发的异常事件。...小明拿起了电话,联系了新系统联调测试的负责同学小静,告知小静当前平台存储告警,需要先做清理,等周一上班后再从长计议。小静表示没问题。...这时告警电话铃声再次响起,小明想到即使从HDFS直接删除,还会先进回收站,报警依然会持续。先删除,再清理回收站?

2.7K40

腾讯云中间件产品月报(2021年第1期)| 文末好礼送不停

消息队列 CKafka 专业版支持区部署;标准版S2上线。 分布式事务 DTF 支持兼容 Spring Cloud F 版本;针对私有化部署场景,协调器节点优化性能。...新品发布 01 腾讯云微服务引擎TSE ■ 产品介绍 腾讯云微服务引擎 TSE(Tencent Cloud Service Engine)通过将微服务核心的组件:注册中心进行云上服务托管,解决服务部署繁琐、异常运维耗时等问题...# 高可用容灾 基于多个可用区域进行部署、提供定时健康探测、服务异常自动恢复等监控功能,实现高可用容灾,保障用户服务持续、稳定、安全运行。...新增资源时可手动关联数据集,避免主账号二次授权给子账号,减少操作成本。...# 服务告警优化 优化配置告警维度,支持4xx 5xx等状态码的告警设置。 # 容器集群导入云主机、安全组配置优化 支持创建集群时填写数据盘挂载地址。

1K30

实用干货丨Eolink Apikit 配置和告警规则的各种用法

API在运行过程中可能会遇到各种异常情况,如响应时间过长、调用频率过高、请求参数错误等,这些异常会对系统的稳定性和性能产生严重影响。因此,对API进行异常监控和告警是非常必要的。...全局告警设置邮件告警若需要对所有监控项目设置全局的告警通知,可以在 API监控的项目列表页面,选择 异常告警页面\ :在这里设置的告警信息,对所有项目有效。...在告警邮箱内设置相应人员的邮箱:注意事项:发送告警邮件需要消耗告警资源包。API告警、API恢复正常,均会产生告警邮件。告警邮件以项目为单位,同一时刻内,监控到异常的API和场景,会发送一封邮件。...告警人员设置当 API 产生告警时,可以直接通知到具体的项目人员,点击添加通知人员 :选择相应的人员账号,即可通知该成员。...注意:成员需要先在个人设置处设置好邮箱账号邮件告警若成员没有在个人帐号内设置邮箱,或需要通知到项目外的人员时,可以直接在额外告警邮箱处设置告警邮箱:系统会将异常API通过邮件的方式通知到相应的运维人员。

18030

我所认知的甲方信息安全建设经验

办公网-网络安全建设 WIFI安全 事前安全措施:1、建立因素认证(通过个人账户密码+短信、动态密码);2、建立设备安全认证(限定特定的设备才能连接) 事中安全措施:1、建议WIFI账号爆破监控;2、...WIFI账号爆破封禁策略运营 V**安全 事前安全措施:1、远程接入公司内部网络进行因素认证(个人账户密码+短信、动态密码);2、硬件指纹获取识别 事中安全措施:1、V**异地登录;2、异常登录监控;...3、V**爆破监控以及封禁策略 事后安全措施:1、联系V**账号所属者确定攻击行为 日志流量采集检测 事前安全措施:1、办公网网络流量(到边界、到IDC);2、日志采集检测 事中安全措施:1、员工异常行为监控...事中安全措施:1、对员工行为进行监控(可通过前面介绍的几种方案);2、对钓鱼邮件进行告警 事后安全措施:1、对涉事员工进行相应处罚;2、钓鱼邮件影响评估 离职员工安全审计 1、离职行为审计;2、办公电脑审计...) 堡垒机:服务器统一登录管理,秘钥管理,访问控制策略运维工作 Router层统一映射管理:互联网端口、IP映射管理,结合cmdb平台运维工作 WAF:部署waf产品,拦截WEB攻击,告警记录运营工作

1.9K21

网络安全设备小知识:日志审计系统

日志审计的应用场景日志审计通常会运用在以下三个场景:1、账号异常操作识别通过采集系统日志,对其内容进行分析,识别分析账号异常操作行为。...例如当发现该账号的访问信息与备案的数据资产账号权限报备信息不一致时进行告警;某账号访问了不在其权限范围内的数据资产或试图导出高敏数据时进行告警。...2、IP异常行为识别通过采集应用系统日志,对其内容进行分析,识别异常IP的异常行为。...例如当发现同一IP同一时间段对敏感数据接口访问频次较高时或者请求IP不在权限范围内时进行告警;某IP在某时段内高频访问运营商营业厅的对外账号充值接口时进行告警。...3、主机异常操作行为识别通过采集主机操作日志,对其内容进行分析,识别在主机上的异常操作行为。例如当发现在非变更窗口出现变更操作指令或者某一IP进行异常变更操作时进行告警

23000

实时数仓混沌演练实践

,真实生产上业务数据波动异常时,无法及时告警发现;设置过小,将导致告警频繁,对其准确性、有效性可能存在质疑,而且,实时投放的核心指标有几十个,每个指标对应的健康阀值都不一样,要收集、分析成本非常高,从演练的效果上看...,如有异常告警,需第一时间进行问题排查定位,在评估修复方案;‍在攻防对抗的过程中,蓝军可根据红军的防御措施进行调整和改进攻击策略,尽力突破系统的防御并达到既定目标,同时红军也可分析蓝军的攻击手法和行为模型...5.异常注入通知在异常注入完成后,可以通过飞书群通知,告知红军,如收到告警,需第一时间群告知。...6.告警触发通知红军在演练前,可通过监控平台提前配置好防御规则。在异常注入后,如符合预期,在15min内发现指标波动异常,红军需及时同步到演练群中。...中危**链路主备一致监控服务名:**** 环境:****** 告警时间:****** 触发条件:**链路比对波动异常,持续10分钟 告警详情:指标:prd_collect_uv主对比备下降:[-10%

25520

10分钟搭建MySQL Binlog分析+可视化方案

接下来我们将演示如何在10分钟内手把手完成从 binlog 采集到查询、告警、搭建报表等全过程,满足各个老板们的需求: MySQL Binlog 采集 关键字段索引+统计设置 对异常账号进行查询分析...对异常登录进行告警 配置可视化仪表盘 对历史登录信息备份以备数据审计 环境准备 数据库 MySQL 类型数据库(使用 MySQL 协议,例如 RDS、DRDS 等),数据库开启 binlog...其中登录验证规则如下: 正常情况只验证账号密码匹配 若用户连续登录失败超过3次或者当前ip和上次登录ip不在同一省,下次登录将弹出验证码 若用户连续登录失败超过5次,则下次登录将使用手机验证码...异常登录告警 异常登录都会有误判的可能性,因此正常情况下会有少部分异常登录的情况,但异常登录占比要小于1%。这里我们为用户登录设置一个异常登录的告警:若当异常登录占总登录的1%则触发告警。...告警设置参见日志服务告警设置 ? 数据备份 用户登录数据,一般建议在日志服务存储一段时间(30天、半年、1年等)用于实时的查询和分析,但对于历史数据还需要保存下来,便于后续的审计、大数据挖掘与分析等。

2.1K30

“购物狂欢节”如何应对“羊毛党”

也就是说,这些“羊毛党“在电商促销或优惠活动中,已逐步形成了相对完善的刷单及变现工作流程(见图1:电商刷单团伙工作流程): [1509501258853_3782_1509501200197.png]...2)大幅度降低异常账号的优惠力度。 电商防刷架构 一. 腾讯防刷总体架构 面对疯狂的黑产刷单,按照对抗刷单的思路,基于腾讯的多维度大数据,腾讯专门设计并构建了电商防刷技术体系。...风险学习引擎采用了黑/白分类器风险判定机制,可以很好地减少对正常用户的误伤。例如,某个IP是恶意的IP,那么该IP上可能会有一些正常的用户,比如大网关IP。...其中,黑分类器风险判定是根据特征、机器学习算法、规则/经验模型,来判断本次请求异常的概率。而白分类器风险判定则是判断属于正常请求的概率。...电商企业接入天御系统,启用带防刷能力的业务架构 通过剖析腾讯对抗“羊毛党”刷单的防刷系统技术架构与原理,我们了解到了天御系统可以帮助咱们电商企业在促销、优惠活动时,有效打击黑产刷单团伙。

18.3K61
领券