首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TiDB 帮助万达网络科技集团实现高性能高质量的实时风平台

作者 | 陈新江 万达网络科技集团大数据中心 万达网络科技集团 是中国唯一的实业+互联网大型开放型平台公司,拥有飞凡信息、快钱支付、征信、网络信贷、大数据等公司,运用大数据、云计算、人工智能、场景应用等技术为实体产业实现数字化升级...万达网络科技集团的技术团队,建设和维护着一套实时风平台。这套实时风平台,承担着各种关键交易的在线风数据的写入和查询服务。...实时风平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风相关业务数据实时入库 实时风规则计算 通过 BI 工具分析风历史数据 ETL 入库到...在实时风平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风类和 BI 分析类的业务应用能够高效运行。

1.1K10

快速开启专属的风系统

防范账号盗用和篡改:通过对用户登录、注册、密码修改等行为进行监控,风系统可以尽早发现账号被盗用或者信息被篡改的情况,及时采取措施,保护用户的个人信息安全。...顶象Dinsight实时风引擎,支持私有化部署和SaaS服务。以SaaS接入为例: 第一步,注册/登陆 顶象防御云,开通实时风险决策服务。...第二步,访问 [实时风险决策] - [应用管理] 菜单,新增应用。用来标识用户入口,比如:App、Web等。 第三步,访问 [实时风险决策] - [事件管理] 菜单,新增事件。...第四步,访问 [实时风险决策] - [风策略] - [策略管理] 菜单,添加一条简单策略。 第五步,业务后台开始集成。...集成SDK下载:https://www.dingxiang-inc.com/docs/detail/ctu#doc-h2-7 1)maven项目中引入依赖:   <groupId

1.7K20
您找到你想要的搜索结果了吗?
是的
没有找到

钱大妈基于 Flink 的实时风实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风流程示意图 二、业务架构 钱大妈风业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...行为序列其实也是事件与事件之间的组合,他打破了以往风规则只能基于单事件维度描述事实的壁垒,在事件与事件之间的事实信息也将被规则引擎捕捉。...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风场景需求

1.8K20

数据赋能,高效防:蚂蚁数据智能如何守护金融安全

在 7 月 21-22 日深圳 ArchSummit 全球架构师峰会上,来自蚂蚁集团的高级技术专家马希民分享了,基于信贷实时风,构建数据智能的高可用实时风决策系统实践。以下是演讲内容整理。...我们团队主要负责的是消费金融产品的实时风,例如支付宝收银台中花呗、花呗分期、信用卡分期等贷记产品显示时,表示这笔交易已经通过了我们的实时风系统,被视为无风险交易,我们实时的决策系统面临的主要问题有以下四方面...因此,实时风除了需要保障日常正常流量压力下的极速响应,还需要在面临一些特殊状态依然保持高可用,例如大促、直播的高峰流量,以及当风险规则因为数据等原因导致异常,进行了远超出预期的拦截,实时风架构需要对上述特殊状态进行快速的自适应响应...,来将实时风的响应时间和拦截率始终维持在一个合理的水位。...今天我主要分享了如何使实时风决策系统实现极速响应和高可用性。实时风决策系统的在性能方面的核心优化手段是降低 IO,我之前提到的多级决策、分层决策、预决策和规则精简,本质上都是为了减少 IO。

22630

引擎如何快速接入不同的数据源?

实时监控:风引擎可以通过分析客户信息、历史交易数据和公共数据库等信息,对客户的信用状况进行评估和风险判断,并通过实时监控各种风险,对交易异常、信用评估、欺诈检测等,通过即时通知进行提醒和预警。...数据是风引擎的重要组成数据是风决策引擎中不可或缺的组成部分,包括历史数据、实时风险数据、行为数据等等,不仅提供关键的信息和指示,更有助于做出明智的决策。...征信数据是指记录个人信用历史和相关财务信息的数据,包括个人基本信息、收入、职业、婚姻状况、信用卡和贷款信息等,三方数据。...以顶象Dinsight实时风引擎为例,首先在控制台接入,然后就可以在引擎配置。...接入控制台 (console) ,在application.properties中配置:接入引擎 (engine), 在application.properties中配置:顶象Dinsight实时风引擎可以在营销活动

26710

大数据等技术进步驱动互联网金融创新

技术进步推动实时风   随着互联网金融的发展,各类网银支付欺诈、电商钓鱼网站等风险因素也在增加,对风险控制(简称“风”)的要求越来越高。   ...蚂蚁金融服务集团资深数据专家陈继东介绍,大数据风主要是通过分析交易设计的环境信息、行为信息以及账户之间的关联关系来做交易的风险判断。...就如何找到用户体验与信息安全的平衡点,杭州邦盛金融信息技术有限公司总经理王新宇指出,通过实时风一定程度上可以解决这个问题。...从人类感知学来讲,实时风如果判断的时间大于200毫秒,这件事情是不可接受的,同时,实时风每秒又要面对上万笔的吞吐量,所以实时风平台的技术门槛特别高。...但有了实时风系统,企业可以更自如地做产品创新、限额的调整。

1.2K50

基于 Apache Flink 和规则引擎的实时风解决方案 ​

这要求风系统一定要有实时性。本文就介绍一种实时风解决方案。 1.总体架构 风是业务场景的产物,风系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...业务系统,通常是 APP + 后台 或者 web,是互联网业务的载体,风险从业务系统触发; 风系统,为业务系统提供支持,根据业务系统传来的数据或埋点信息来判断当前用户或事件有无风险; 惩罚系统,业务系统根据风系统的结果来调用...该系统有三条数据流向: 实时风数据流,由红线标识,同步调用,为风调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风时风是整个系统的核心,被业务系统同步调用,完成对应的风判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风判断部分与规则管理部分拆开。...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风系统查询。两者问题都不大,根据场景选择即可。

4.6K20

实时化浪潮下,Apache Flink还将在大数据领域掀起怎样的变革?| Q推荐

我们将在 FFA 上看到阿里巴巴、字节跳动、快手、美团、华为、Shopee、运满满、米哈游、蔚来汽车、集度汽车、菜鸟、网易等全球 40+ 各行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时风...AI 特征工程 + 实时风 AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。...实时风专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风平台建设的实践案例。...Tips: Flink Forward Asia 2022 大会最终议程以官网公布信息为准。...点击下方「阅读原文」或点击视频号预约按钮,即可报名预约大会直播,了解更多 Flink Forward Asia 2022 大会信息

55030

防盗窃反欺诈,支付宝风系统0.1秒识别风险

现在,虽然用户无感,但事实上,在支付宝的每笔交易中,支付宝第五代智能风引擎AlphaRisk都会从多风险维度去判断交易风险。 一个简单的模型是付款方与收款方自身的信息与关系信息。...如受害者账户与骗子账户相关特性鲜明,例如用户年龄、性别和使用习惯等——这些特征信息支持构建了“欺诈交易识别模型”,以及“欺诈者识别模型”,并在实践中为“决策”提供支撑。...芮雄文在演讲中公布的一些数据描述了AlphaRisk巨大的技术进步:支付宝平台上每天交易上亿笔,AlphaRisk不仅能够对每个用户的每笔支付进行7*24小时的实时风险扫描; 同时,通过不断新增的风险特征挖掘和优化算法迭代的模型...,AlphaRisk能够自动贴合用户行为特征进行实时风险对抗,在数亿交易中准确识别用户被骗支付的欺诈风险交易,不足0.1秒就能完成风险预警、检测、管等复杂流程。...目前蚁盾风险大脑提供了“交易、账户、营销、内容保护等实时风能力”已经服务于金融监管、银行、互联网三大领域,惠及上千家合作伙伴。 “蚂蚁金服是一家科技公司,我们的愿景是给世界带来更多平等的机会。”

1.2K10

实时化浪潮下,Apache Flink还将在大数据领域掀起怎样的变革?

我们将在 FFA 上看到阿里巴巴、字节跳动、快手、美团、华为、Shopee、运满满、米哈游、蔚来汽车、集度汽车、菜鸟、网易等全球 40+ 各行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时风...AI 特征工程 + 实时风 AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。...实时风专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风平台建设的实践案例。  ...Tips: Flink Forward Asia 2022 大会最终议程以官网公布信息为准。...点击下方「阅读原文」或点击视频号预约按钮,即可报名预约大会直播,了解更多 Flink Forward Asia 2022 大会信息

46340

卢明樊:爱奇艺的业务安全风“秘籍”

撞库盗号屡见不鲜,正常用户信息被泄露,相关权益被窃取或者恶意分享,直接危害到个人隐私甚至资金和人身安全。...已经实现从社工钓鱼,逆向破解,APP伪造,恶意植入,漏洞挖掘,羊毛情报分享,物料(IP,设备,号,证,信息)供应,批量工具和自动化操作,任务分包和网赚平台,群,打码接码,交易变现等精细化分工。...风所用的数据源包括但不限于威胁情报、实时风日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。...3.优化引擎服务 风系统对接支持业务后,应当充分考虑如何优化风系统的服务架构,确保实时风服务的低延迟低熔断,既要做到保证业务服务不会因为风服务增加延迟,从而导致业务服务质量下降或者过多资源占用,...5.云端协同 风必须和端上的可信任的维度采集以及灵活多变验证能力紧密结合在一起,端上采集设备多维信息形成设备指纹,云上风基于设备信息进行伪造分析和其他恶意分析,用来进行设备识别与鉴白鉴黑,并提供多种防护能力

1.6K30

【BDTC 2015】大数据安全分论坛:数据驱动安全

治理不良信息的大数据平台包含平台层、算法层、应用层,可提供强大的数据据处理能务,提升信息安全工作整体价值,用到了Hadoop Spark等开源技术。...沈洁接着展示了中移动针对海量骚扰电话、垃圾短信等各种不良信息,提出的解决方案,即基于BC-Hadoop实现不良信息统一存储,提供统一计算框架,BC-PDM实现各种文本分析算法,包括聚类、分类等,实现不良信息自动化决策支持...腾讯安全云部助理总经理 李旭阳 数美公司联合创始人兼CTO梁堃:Sentry金融实时风系统 数美公司联合创始人兼CTO梁堃在主题演讲中介绍了Sentry金融实时风系统。...他表示实时风系统对于银行业继续保持高速发展越来越重要。Sentry金融实时风系统是基于大数据技术构建的实时交易风险评估系统。...其工作过程是,在每一笔交易发生时,实时进行(1)业务系统将交易信息发送风系统;(2)发现该交易中存在的异常行为和可疑场景;(3)根据发现的“证据”计算该交易的风险系数;(4)将风险系数等相关信息反馈给业务系统

1.7K80

为本创新驱动,券商如何实现智能风加速?

如何融合信息技术与证券业务,不断地通过先进的科技手段,通过数据的汇聚和分析,通过智能化的探索,为各业务板块的核心竞争力赋能,是各大券商关注的重点。...问题与需求 该头部券商制定了“科技+服务”的发展战略,希望实现信息技术到金融科技能力的跨越,实现数据驱动的业务模式创新,从而实现数据资产的变现。...而由于合规风处于企业核心竞争力的高度,原风数据积累10年,数据量已超30TB。...每日高管报表从原半小时缩短至几分钟,并基于QData高效的处理能力实现了实时风与管理。同时,QPlus在大体量的数据实时备份的情况下既解决了成本问题又不失备份效率。...坚持自主研发,助力企业数字化转型可持续发展 该行业内头部券商表示:基于沃趣产品的高性能,帮助企业实现了实时风,全面部署了对线上全渠道、全业务、实时性的欺诈防

1.1K10

“五位一体”打造数字业务安全体系

顶象联合中国信通院发布的《业务安全白皮书—数字业务风险与安全》显示,随着数字化的发展,企业的关键数据、用户信息、基础设施、运营过程等均处于边界模糊且日益开放的环境中,涉及利益流和高附加值的业务面临多样的安全隐患...数据包含情报、IP黑名单、设备黑名单、手机号码黑名单、账户黑名单等信息,主要用于提供有效的数据校验。通过对所采集到的数据进行分析和处理,直接识别拦截异常、可疑操作账户等。 第二道防线,特征。...基于风引擎产品,配置的规则、策略,发现和拦截异常行为。策略包含业务规则、监控预警、方法等信息,主要用于提供经验校验。通过制定合理的风险规则和监控预警机制,提供有效地风险防范措施。 第四道防线,模型。...基于防御云,顶象端加固能够为App提供移动应用运行进行安全监测,对移动应用运行时终端设备、运行环境、操作行为进行实时监测,帮助App建立运行时风险的监测、预警、阻断和溯源安全体系。...策略防线——风引擎。顶象Dinsight实时风引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防能力。

37750

推荐非常强大的风引擎项目!

伴随着移动互联网的高速发展,羊毛党快速崛起,从一平台到另一个平台,所过之处一地鸡毛,这还不是最可怕的, 随之而来的黑产令大部分互联网应用为之胆寒,通常新上线的APP的福利比较大,风系统不完善,BUG...针对这一现象, 拥有一款实时的风引擎是所有带有金融性质的APP 的当务之急,Radar应景而生。...,二次开发成本低, 开源出来,希望能给有风需求的你们带来一些帮助。...项目特点 实时风,特殊场景可以做到100ms内响应 可视化规则编辑器,丰富的运算符、计算规则灵活 支持中文,易用性更强 自定义规则引擎,更加灵活,支持复杂多变的场景 插件化的设计,快速接入其它数据能力平台...Mysql :本项目中关系数据库,主要用于存放 风险模型的元信息

1.4K10

​网易游戏实时 HTAP 计费风平台建设

本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳,在 FFA 实时风专场的分享。...本篇内容主要分为五个部分:实时风业务会话会话关联的 Flink 实现HTAP 风平台建设提升风结果数据能效发展历程与展望未来图片众所周知,网易互娱的核心业务之一是线上互动娱乐应用服务,比如大家耳熟能详的梦幻西游...为了解决以上的问题,我们以 Flink 为计算引擎构建了一套实时风平台,并为他起名为 Luna,下面我将为大家进行详细的介绍。...实时风业务会话图片常见的线上支付逻辑是,当用户在应用上点击商城的道具进行应用内购买的时候,用户的客户端终端就会到计费系统进行下单,获得本次下单的订单信息。...未来我们希望,可以实时风平台可以支持更多的功能。比如我们希望支持用 Flink-SQL 即席查询风结果;用户反馈驱动的风模型修正;结合 Flink-ML 挖掘更深层次数据价值。

1K30

谁,复制了另一个我?

“被就业”也许对生活暂时没有影响,但信息泄露有可能让受害人信息在不知情下被进一步滥用,甚至让犯罪记录“从天而降”。...在实际业务办理环节中,如果能结合音视频形式校验本人的真实意愿以及实时风险提示,就显得尤为重要。...2/实时风险检测 实时检测认证过程中的设备、视频流、用户行为风险,可有效拦截摄像头劫持、翻拍、面具攻击等恶意行为。...3/实时人脸检测 认证全流程实时检测用户人脸信息,并与权威库的证件照进行人脸比对,确保身份信息真实性。 4/服务接入便捷 支持多渠道的服务接入,已接入人脸核身的客户可以快速升级成意愿核身模式。...在业务办理流程设计上,诸如运营商行业可能出现用户被开电话卡的潜在冒用风险时,可以对高危用户实行“二次人认证”,即人实名核身认证后继续进行语音识别认证,提醒用户使用电话卡涉诈的法律风险、承诺合规使用;

95120

APP加固:助力移动应用安全合规

根据工业和信息化部的通报,被通报的这些App存在着一些消费者难以察觉的问题,如频繁自启动和关联启动、超范围索权、应用分发平台信息不到位等,给用户的安全和隐私带来了风险。...面对这一情况,工业和信息化部积极加强监管力度,多次发布关于侵害用户权益的通知和指导意见,并按照《网络安全法》、《个人信息保护法》等法律法规,对违规行为进行打击和处罚。...还能够为App提供移动应用运行进行安全监测,对移动应用运行时终端设备、运行环境、操作行为进行实时监测,帮助App建立运行时风险的监测、预警、阻断和溯源安全体系。...58同城坚决守护用户信息安全,通过治理机制流程优化、身份分类管机制、加强风险预警检测、提升算法识别能力、用户封禁资源处罚、高危易骗用户警示等风工作,在管、预警等环节出力,并取得了不错的成效。...不仅在潜移默化中提高了用户的信息安全意识,也帮助企业和个人省心、省力做好信息安全保障,在全平台构建起了一张全面周密的“安全防护网”。

19220

干货 | 携程基于大数据分析的实时风体系

性能和复杂度可以兼得 携程的风系统,和大部分第三方支付平台一样,也是以实时风系统为主: 支付环节一般留给风校验的时间不会超过1s,业务风点上更是希望风能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...规则数量两年翻了五倍,同时规则使用更多的数据不再仅限于产品信息、支付信息、账号信息,行为数据等弱关联数据开始大量的应用于规则分析。...在实时风场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风架构变迁简史 ? 携程自建风系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风系统也迎来了一次完全的重写。...支撑风系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风的几个核心服务和组件: ? 风引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

2.2K50

谁,复制了另一个我?

“被就业”也许对生活暂时没有影响,但信息泄露有可能让受害人信息在不知情下被进一步滥用,甚至让犯罪记录“从天而降”。...在实际业务办理环节中,如果能结合音视频形式校验本人的真实意愿以及实时风险提示,就显得尤为重要。...2/实时风险检测 实时检测认证过程中的设备、视频流、用户行为风险,可有效拦截摄像头劫持、翻拍、面具攻击等恶意行为。...3/实时人脸检测 认证全流程实时检测用户人脸信息,并与权威库的证件照进行人脸比对,确保身份信息真实性。 4/服务接入便捷 支持多渠道的服务接入,已接入人脸核身的客户可以快速升级成意愿核身模式。...在业务办理流程设计上,诸如运营商行业可能出现用户被开电话卡的潜在冒用风险时,可以对高危用户实行“二次人认证”,即人实名核身认证后继续进行语音识别认证,提醒用户使用电话卡涉诈的法律风险、承诺合规使用;

1.6K30
领券