高并发风控技术解密(下)

如何灵活高效的接入?

平台化

  •搭建平台而不是搭建项目——做一个“淘宝”而不是做只针对某几项业务的网站

  •从业务中抽象及通用——如果一种业务有可能在今后重复出现,那就将其模块化,系统化(如批处理系统),发展成为平台能力

动态化

  •流程动态化——不同的业务类型对应的流程可以随意调整,无须调整代码

  •代码动态化——采用groovy脚本动态调整线上代码,无须发版;规则配置除了使用各种灵活预配置外,还可以使用groovy脚本代码化规则;指标函数groovy化,不需要每次发版。

  •配置动态化——配置动态化可以考虑虚拟表的形式,通过虚拟表将任意表的结构存储到一个统一的表结构中去,从而完成配置的动态化,有些类似nosql的文档化思想。

如何降低响应时间提高吞吐量?

善用存储及缓存

  •配置数据加载到本地内存

  •频繁重复访问的数据放redis

  •数量较大稳定性要求较高的放hbase

  •需要快速搜索的明细数据放es

•需要解耦削峰的数据放kafka

如下图,不同的存储读取时间是有很大差别的,应当利用好各种存储,尽可能的用耗时小的存储

下图是hbase的一个基准性能测试,千万不要忽略hbase哦,它既能存取海量数据,又能以极短的时间响应,实在是风控系统性能提升的利器。目前的风控系统最重要的累积数据,就是基于hbase存取的

异步化

  •从系统架构层面,将可异步的代码尽量异步,但忌滥用异步

  下面是一个实际的例子,在压测过程中,发现CPU的sy和wa很高,大体可以判断是线程过多,并且浪费在线程切换,据观察,启用异步线程调用3个外部调用的耗时并不低,于是该分支线程等待时间过长,导致占用大量线程在等待IO,线程也频繁切换。

基于动态流程配置,将主系统中3个外部调用合并为一个之后,sy和wa大大降低,不再出现被压垮的情况,而被合并的剩下两个调用,放到kafka解耦之后继续调用。

  单机TPS 2,644.6->3,079

    单机平均响应时间149.3->126.03

  •日志打印异步化--log4j2 all async,大大提高吞吐

  日志对于TPS的影响绝对无法忽视,曾试过禁止打印所有日志,系统TPS直接从3000飙升到4200。

如果不打印日志,线上系统就没法运维。在风控系统里,日志是很重要的排查工具和手段。log4j2的出现,就是为了大吞吐打印日志的,其中all async实现全异步打印,中间用到了disruptor来提速,至于disruptor为什么快,参考之前的文章高并发风控技术解密(上)

  单机TPS 3,079 ->3,686.1

    单机平均响应时间126.03->79.35

  •降低线程数量,从而降低系统cpu时间,异步网络调用--netty的客户端应用

  为保障主线程的吞吐和执行时间,经常需要把网络调用异步化,一些重要的异步化网络调用也需要占用线程池中大量线程,线程数量一多,sy就居高不下,既浪费cpu,又会导致整个tps全线崩溃。

采用nio的netty客户端无疑是解决这个问题的利器。如下图,左边是每个线程一个连接等待,耗费大量线程在等待,会导致sy和wa提升,采用基于netty框架的客户端之后,将连接线程限制到一个很小的数目,而回调的业务线程也会保持在一个较小范围并且保持忙的状态,而不是把时间耗费在sy和wa上

  •用好线程池,保持系统稳定

线程池实际上是保持系统稳定的重要方式,保持资源在一个可控的范围内而不是无限制的增加资源压垮机器,这点尤为重要。

如何应对大数据?

增量化思维

  •问题:需要从原始表计算到结果表,由于增量的结果表无法被复用,只能每天计算全量的结果表,计算任务看似巨大(计算任务为182小时)

  •解决:将每次需要全量计算转化为:每次增量计算到明细表,再从明细表全量计算到结果表(实际计算第一次跑得较慢,后续每次跑只需要几小时)

海量关联关系查询

•问题:在关联关系查询中,经常从几个简单的关联查到大量数据,如何处理大量数据,将其排序,分页,供人工调查?

  •解决:利用es多次查询,redis缓存分页信息。算法很简单,实际过程会遇到很多问题,比如ip关联出来经常是海量数据,数据查询会超时,后续查询更加庞大。一些小技巧是:数据尽早剪枝;业务查询限制,如限制查询时间;ES的多重查询,可以一次性将数据作为查询条件输入。分布式的TOPK问题比较有意思,ES的原理中阐述了这一点,有兴趣的人可以研究

另一种方式是将关系直接存储为图,即顶点和边关系,查询时将极其简单,这方便的代表是图数据库neo4j,由于存储需要再导入,因此并未做深入研究,同样供有兴趣的同学参考

如何保持系统稳定性?

限流

  •大促期间如遇大流量可以针对业务渠道限流开关推送标志以限流

降级

  •在高峰期间将一些运营查询相关的需求停止,减小数据系统负担,并调度到半夜12点继续查询

预案

  •每次大促前都得准备预案。预案需要准备各种极端失败情况,确保失败时不手忙脚乱

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JetpropelledSnake

Python Web学习笔记之多道程序设计技术和操作系统的特性

采用了多道程序设计技术的操作系统具有如下特性 : ① 并发性。它 是指两个或两个以上的事件或活动在同一时间间隔内发生。操作系统是一个并发系统,并发性是它的重...

25912
来自专栏韩伟的专栏

经典的服务器结构概述(中)

. 经典的服务器结构概述(中) 今天将和大家详细探讨分服模型,本文结构如下: ? 1模型描述 分服模型是游戏服务器中最典型,也是历久最悠久的模型。其特征是游...

3157
来自专栏野路子程序员

记一次支付异步校验逻辑漏洞

2854
来自专栏一名叫大蕉的程序员

一场关于逻辑应该写在哪里的争论No.93

先说结论,我支持将逻辑写在 Java 等应用系统中。 观察了一下,传统企业以及绝大部分转型中的企业的 Java 应用中,很神奇的是,他们的开发人员包括我自己以...

5008
来自专栏服务端思维

「星球精选」如何保证幂等机制

幂等机制的核心是保证资源唯一性,例如客户端重复提交或服务端的多次重试只会产生一份结果。支付场景、退款场景,涉及金钱的交易不能出现多次扣款等问题。事实上,查询接口...

461
来自专栏服务端思维

如何健壮你的后端服务

对每一个程序员而言,故障都是悬在头上的达摩克利斯之剑,都唯恐避之不及,如何避免故障是每一个程序员都在苦苦追寻希望解决的问题。对于这一问题,大家都可以从需求分析、...

1042
来自专栏Linyb极客之路

互联网常见架构接口压测性能分析及调优手段建议

常见的互联网架构中,一般都能看到spring+mybatis+mysql+redis搭配的身影,在我所服务的公司亦是如此。一般来说,应用内部的接口都是直接调用的...

1135
来自专栏IT技术精选文摘

客服系统微服务架构的演化

微服务要求 ? ? ? ? 服务协作 ? 服务治理 ? 服务治理 ? ? ? 1 怀疑第三方 坚持一条信念:“所有第三方服务都不可靠”,不管第三方什么天花乱坠...

3545
来自专栏一英里广度一英寸深度的学习

流式计算

spark是一个大数据分布式的计算框架,有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算,谈三个概念:

1342
来自专栏V站

数据库性能优化冗余字段的作用 数据库冗余

在设计数据库时,某一字段属于一个表,但它又同时出现在另一个或多个表,且完全等同于它在其本来所属表的意义表示,那么这个字段就是一个冗余字段。

1153

扫码关注云+社区