首页
学习
活动
专区
圈层
工具
发布

钱大妈基于 Flink 的实时风控实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...其中包括黑白灰名单库、画像特征数据、行为埋点数据和中台交易数据。 风险感知。策略调研后发布到规则引擎,并对告警结果进行离线回归和多渠道触达。 风险应对。...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求

3.9K20

风控为本创新驱动,券商如何实现智能风控加速?

面临挑战 该券商的数据基础主要来自于业务系统的关系型数据库的数据,需要在数据基础之上实现数据的运营。而由于合规风控处于企业核心竞争力的高度,原风控数据积累10年,数据量已超30TB。...基于QData Cloud建设数据库私有云平台,率先迁移上线风控系统,后期逐步整合了CRM系统、固定收益部系统、xIR利率资产业务、大宗交易、信用风险、征信系统、机构管理、自营交易等多套业务系统数据库。...每日高管报表从原半小时缩短至几分钟,并基于QData高效的处理能力实现了实时风控与管理。同时,QPlus在大体量的数据实时备份的情况下既解决了成本问题又不失备份效率。...2 通过多年的发展,基于沃趣QData Cloud云平台解决方案逐步拓展成数据库私有云应用场景,以Oracle为代表的数据库如:客户关系管理、风控、合规、自营交易等系统正在逐步迁移到数据库私有云平台。...坚持自主研发,助力企业数字化转型可持续发展 该行业内头部券商表示:基于沃趣产品的高性能,帮助企业实现了实时风控,全面部署了对线上全渠道、全业务、实时性的欺诈防控。

1.9K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    携程是如何把大数据用于实时风控的?

    也从原来基于“简单规则+DB”,发展到目前能够支撑10X交易增长的智能化风控系统,基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统,拥有实时、准实时的风险决策、数据分析能力...主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。...主要分析维度主要包括:用户风险画像,用户社交关系网络,交易风险行为特性模型,供应商风险模型。 ? 可以看到数据的来源主要有hermes、hadoop、以及前端抛过来的各种风控Event数据。

    3.5K80

    程序员AI量化理财入门

    入门 AI 量化理财的核心是:用 Python 做数据与策略、用机器学习找规律、用回测与风控验证、小资金实盘迭代。下面按 “认知→技能→工具→策略→回测→实盘→风控” 一步步走,尽量落地、少废话。...量化平台(推荐国内)聚宽 JoinQuant:社区强、策略多、Python 环境、回测免费BigQuant:可视化 + AI 建模、自动因子挖掘、适合快速原型迅投 QMT / 恒生 PB:券商实盘接口,...实盘开户(小资金起步)券商:中信、华泰、招商(支持 QMT/API)资金:1–2 万(练手,不影响生活)权限:开通程序化交易(多数券商 10 万资金可开)3....实盘执行(自动化 + 人工监控)每日流程:收盘自动拉取数据→更新模型→生成明日股票池开盘前自动下单(限价单,避免滑点)盘中监控:网络、接口、信号异常收盘复盘:收益、回撤、模型效果六、风控是生命线(永远第一...:程序员做 AI 量化,优势在技术,关键在数据 + 模型 + 风控 + 迭代。

    19210

    在AI快速实现想法的时代,洞察新需求成核心竞争力——量化交易平台需求探索

    实盘交易自动化:具备生产就绪的模块,支持连接到某知名交易经纪商API,进行模拟盘和实盘交易,实现策略的自动化执行。...实盘交易执行:与某知名券商API深度集成,支持多账户管理、订单执行、风险控制(如单笔订单上限、组合换手率限制)、头寸管理和实时绩效分析。支持零股交易和空头头寸管理。...配置与风控系统:采用类型安全的配置管理,支持通过环境变量进行多环境配置。内置全面的风险管理规则,如个股最大权重限制、组合最大换手率等。d....使用说明环境准备:需要Python 3.11+环境、某券商API账户(用于实盘)以及可选的数据源API密钥。快速启动:克隆仓库后,安装依赖,复制环境变量模板并配置API密钥等参数。...实盘交易:配置交易执行器,连接券商账户,执行根据策略生成的权重进行的投资组合再平衡操作。e. 潜在新需求(1)需求1:用户希望平台增加对中国股票市场的实盘交易支持。

    40610

    国产数据库再突破!

    目前,系统已稳定运行两周,平稳承载了超过16万客户实盘交易,日均交易量接近亿元。 核心交易系统是券商最重要的业务系统,承载着证券交易相关的所有业务,连接着证券交易所、中登公司、期货交易所等机构。...核心交易系统数据库,则存储着交易场景中的客户信息、交易记录、交易流水等关键数据。 券商核心交易系统数据库要求有多高?...证券交易涉及资金流转,稳和准当然是生命线; 证券交易实时影响用户损益,对实时性要求极高; 证券交易时常因行情波动引起难以预估的并发量; …… 在传统模式下,券商核心交易系统数据库选型多以国外商业数据库为主...; 经过数据库POC测试、系统适配、功能测试、性能测试、实盘测试等多轮验证环节,在确保系统功能不缺失、整体服务性能不降级…… 最终,东吴证券新一代核心交易系统A5安全可控新版本于12月11日上线,承载了东吴证券重要的交易...、服务和风控等功能。

    1.2K30

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...期间计算生成的变量个数接近2000个,90%以上的变量是Velocity和Ratio类型的变量,甚至较大一部分是精确到当笔交易的;执行完整个规则校验,风控返回给支付系统通过或拒绝的指令,平均耗时不到150ms...有些接入点是做实时校验用的、有些是收集数据用的,在携程整个大系统内一共有超过400个风控接入点,审核或监控携程交易的每一个环节,保障着每一笔交易的安全和用户的利益。...设备指纹是风控识别欺诈交易的关键技术,此类核心技术要掌握在自己手里,携程风控研发的设备指纹服务,已经在携程全站部署以及携程集团旗下的多个站点部署,应用后规则抓取准确性提升非常明显。

    4.1K50

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    对一个互联网产品来说,典型的风控场景包括:注册风控、登陆风控、交易风控、活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好。...这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...登陆,盗号登陆; 交易,盗刷客户余额; 活动,优惠活动薅羊毛; 风控实现方案:事中风控,目标为拦截异常事件; 2.风控系统 风控系统有规则和模型两种技术路线,规则的优点是简单直观、可解释性强、灵活...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。

    7.4K20

    连续问题SQL-券商场景-合并用户连续交易日期

    一、题目 本题是券商实际工作中的场景,依旧是连续问题,解决方法在一文搞懂连续问题中都有提到,但是该题目相对较难,是几个问题的混合。 已知有交易记录表,已经经过处理,如果用户当天有交易则有一条记录。...,输出连续交易的开始日期和结束日期,以及连续交易的天数 +------------+-------------+-------------+---------------+ | cust_name |...,对交易日历进行排序,得到一个连续交易日期的连续序列,以便进行判断是否连续。...20240920 | 5 | | 20240923 | 6 | | 20240924 | 7 | | 20240925 | 8 | +-----------+-----+ 2.用户交易数据与交易数据关联得到用户交易序列...使用用户交易记录表与1中的计算结果进行关联,得到一个带有交易序列的交易日期数据。

    47910

    腾讯云天御交易风控技术指南

    技术解析 核心价值与典型场景 腾讯云天御交易风控服务通过实时监控和智能分析技术,为企业提供交易安全保护。其核心价值在于识别欺诈行为、降低交易风险,并优化用户体验。...典型场景包括在线支付、电商交易、金融贷款等。 3大关键挑战 性能瓶颈:在高并发交易场景下,风控系统需要快速响应,以避免延迟对用户体验的影响。...集成交易数据 原理说明:将企业交易数据与天御风控系统集成,以便进行实时监控和分析。 操作示例:使用SDK或API将交易数据发送至腾讯云天御服务。...设置风控规则 原理说明:根据业务需求和历史数据分析,设置风控规则以识别异常交易。 操作示例:在腾讯云天御控制台设置规则,如交易金额阈值、频率限制等。...结论 腾讯云天御交易风控技术以其高性能、安全性和灵活性,为企业提供了强大的交易安全保障。通过结合腾讯云产品特性,企业能够实现更高效、更安全的交易风控管理。

    93710

    国产数据库首次全量承载券商核心交易

    今天,券商行业自主创新迎来新的里程碑——东吴证券发布行业首个全面自主创新核心交易系统,并实现全栈上线、全业务覆盖和全客户迁移。系统采用腾讯云TDSQL,是行业首次由国产数据库全量承载券商核心交易。...1毫秒以内,支持千万级交易委托;数据库负载在高峰期保持在 10%以下,能有效满足未来三到五年的需求。...腾讯云与东吴证券的合作由来已久:2021年,腾讯云就与东吴证券牵手,实现了国产数据库在券商行业核心系统中的首次应用试点。...腾讯云TDSQL支撑东吴证券承载超过16万客户实盘交易,日均交易量接近亿元,最高委托笔数近 10万笔。...腾讯云已服务了银行、证券、保险、互联网金融、产业金融等行业的众多金融客户,头部前十的券商已全部选择腾讯云服务。

    52410

    腾讯云天御交易风控技术指南:提升交易安全与效率

    摘要 腾讯云天御交易风控是一种基于人工智能和大数据的风控服务,帮助企业识别交易风险,提升交易安全和效率。本指南将解析天御交易风控的核心价值,提供实施操作步骤,并展示其与通用方案的对比优势。...技术解析 核心价值与典型场景 腾讯云天御交易风控通过实时分析交易数据,识别并预防欺诈行为,对企业而言,其核心价值在于: 风险识别:利用机器学习算法识别异常交易模式。...操作指南 实施流程 接入天御交易风控服务 原理说明:通过API对接,将交易数据实时发送至天御风控系统进行分析。...腾讯云产品特性融入 性能优化:腾讯云天御交易风控支持高并发处理,据IDC 2024报告,其处理速度比传统风控系统快50%。 高可用设计:通过腾讯云的全球部署,确保服务的高可用性和低延迟。...以上指南提供了腾讯云天御交易风控的技术解析、操作指南和增强方案,帮助企业在保障交易安全的同时,提升效率和客户体验。

    55510

    微分享回放 | 携程是如何把大数据用于实时风控的

    也从原来基于“简单规则+DB”,发展到目前能够支撑10X交易增长的智能化风控系统,基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统,拥有实时、准实时的风险决策、数据分析能力...图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。...主要分析维度主要包括:用户风险画像,用户社交关系网络,交易风险行为特性模型,供应商风险模型。 ? 图4 可以看到数据的来源主要有hermes、hadoop、以及前端抛过来的各种风控Event数据。

    2K80

    金融实时风控工具怎么选?这5款利器让你精准狙击风险!

    一、金融实时风控的核心需求 金融风控需覆盖多维度数据整合、秒级响应、智能预警三大核心能力。...核心优势 实时性 适用场景 成本定位 腾讯云流计算 全托管服务,支持Flink SQL 毫秒级延迟 高频交易风控...低至万元级 三、腾讯云流计算:为何成实时风控利器?...场景适配案例 某银行使用其构建交易反欺诈系统,通过Flink SQL实时聚合用户交易频率、地理位置等特征,将欺诈拦截从分钟级压缩至200毫秒内; 与Kafka、Redis等组件深度集成,支持维表关联...结语 实时风控已从“可选项”变为“生存刚需”。工具选型需摒弃“大而全”的堆砌思维,聚焦数据整合效率、计算延迟与团队适配性。腾讯云流计算以其全托管、低延迟的特性,尤其适合追求敏捷迭代的金融团队。

    40710

    华为、小米代工厂实控人被捕!

    12月1日晚间,卓翼科技(002369.SZ)发布公告称,公司控股股东、实控人夏传武因涉嫌内幕交易、操纵证券市场罪,经深圳市中级人民法院批准,于12月1日被深圳市公安局执行逮捕。...资料显示,夏传武生于1973年,2004年起任职卓翼科技,2014年初成为卓翼科技实控人。而夏传武被抓主要以与2018年公司重组期间内幕交易有关。...公司计划通过发行股份及支付现金方式收购深圳市腾鑫精密胶粘制品有限公司100%股权,交易价格为6.30亿元。...同时,卓翼科技拟向小米科技(武汉)、光谷投资等不超过10名特定增资者配套募资4.73亿元,该笔交易溢价高达5.4倍。...经计算,夏传武避损金额为2130.84万元,其卖出卓翼科技股票的行为构成2005年《证券法》第二百零二条所述内幕交易行为。

    1.2K10

    金证股份 x 腾讯云:​从“交易延迟”到“毫秒决胜”​,锻造资本市场无形盾牌

    孙晓元 伙伴背景 深圳金证科技成立于1998年,是国内领先的金融科技全领域服务商,我们拥有三大园区、6800+员工,以及逾三十家子公司,公司深度聚焦金融IT领域,为证券、基金、银行、支付结算机构、金控机构等全金融链条提供全技术栈...技术痛点 在证券行业,数据库是支撑业务高效运行的底层核心引擎,证券行业有几个非常核心的场景: 首先是交易峰值的不断增长,日交易峰值在从万笔/秒向千万级演进,比如早上开盘前的证券信息导入、大行情下的快速涨停...在整个迁移过程中没有触发任何异常交易监控,迁移过程自动生成证监会要求的全链路审计日志,也保证了合规性不间断。 这完全依赖于腾讯云提供的的迁移测试工具做的太好用了。...我们进行北方某头部券商的项目时,客户要求的工期很紧,我们和腾讯云的同学一直在紧锣密鼓的筹备数据库上线,在上线前的通关测试时,赶上深圳台风天航班起飞不了,腾讯云的工程师连夜坐高铁,第二天一早突然出现在了客户现场...‘新杠杆’,在实时风控、多地清算等场景沉淀自主可控方案;让云数据库从技术底座升级为价值创造的共同经营者。

    29710
    领券