首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【案例】大数据监测预警非法集资平台建设

同时提供基于大数据监测预警非法集资平台的各类企业非法集资风险监测分析报告包括年度报告、半年度报告、季度报告、月度报告、专项报告和舆情报告。...本项目建设围绕非法集资犯罪的“发现难、研判难、决策难、控制难、处置难”等问题,以解决五难问题为导向,建立大数据监测预警非法集资平台。...通过对大数据中心多个数据源的数据,在内存式计算系统上进行分布式计算,经过数据清洗、数据集成、数据变换、数据规约等一系列预处理过程,把数据集合统一转换成可供分析的结构化数据。...图 | 冒烟指数分级预警 4、大数据监测预警非法集资平台的功能 大数据监测预警非法集资平台的功能包括: 一、非法集资信息主动发现。...2014年,是北京拓尔思信息技术股份有限公司(股票代码300229)的控股公司,金信网银具备一套完整的金融数据体系,包括网络舆情数据、公司运营数据和政府数据,创新性融合了海量非结构化信息处理、自然语言理解、分布式计算技术

2K40
您找到你想要的搜索结果了吗?
是的
没有找到

【案例】重庆市金融工作办公室:大数据监测预警非法集资平台

网络平台打着“民间借贷”旗号非法集资风险也日见凸显。...8、应用技术/实施过程 (一)实施过程 (1)搭建平台架构 重庆市大数据监测预警非法集资平台的数据支撑为金融大数据系统,通过系统对多个数据源的采集,在内存式计算系统上进行分布式计算,经过数据清洗、数据集成...作为大数据架构的底层,大数据中心应用分布式存储技术和集成技术实现数据的海量存储,应用索引分片、对等节点机制(去中心化)、新型列数据库存储机制等技术实现数据的有效管理,应用全文检索技术实现数据的精准检索,...9、外部合作 为完成重庆市大数据监测预警非法集资平台的建设,金信网银从数据合作、技术合作、专家合作等方面整合了各方资源,共同做好此项目。 数据是大数据平台的生产资料。...目前,金信网银已服务公安部建设非法集资犯罪监测预警平台,利用大数据技术辅助研判分析经济犯罪;服务北京市金融局建设全国第一个打击非法集资监测预警平台,应用于打击非法集资专项整治行动和互联网金融风险专项整治

1.3K60

分布式平台Kafka

提到Kafka很多人的第一印象就是它是一个消息系统,但Kafka发展至今,它的定位已远不止于此,而是一个分布式流处理平台。...对于一个流处理平台通常具有三个关键能力: 1.发布和订阅消息流,在这一点上它与消息队列或企业消息系统类似 2.以容错的持久化方式存储消息流 3.在消息流产生时处理它们 目前,Kafka通常应用于两大类应用...你可以认为kafka是一种高性能、低延迟的提交日志存储、备份和传播功能的分布式文件系统,并且可以通过客户端来控制读取数据的位置。...写在最后 消息传递、存储和流处理的组合是Kafka作为流式处理平台的关键特性。 像HDFS这样的分布式文件系统允许存储静态文件来进行批处理。这样系统可以有效地存储和处理历史数据。...Kafka结合了这两种能力,这种组合对于Kafka作为流处理应用和流数据管道平台是至关重要的。 通过消息存储和低延迟订阅,流应用程序可以以同样的方式处理历史和将来的数据。

81620

搭建分布式任务调度平台

缺点:没有重试补偿机制,不能支持集群不支持路由策略 使用zk分布式锁,和redis原理相同 缺点:没有重试补偿机制,不能支持集群不支持路由策略 使用分布式任务调度平台 有点:具有重试补偿机制...,具有路由策略,支持集群部署 分布式任务调度平台的原理: 分布式调度平台分为两个模块: 执行器注册中心: 执行器在启动时将自己的ip和端口信息上报到执行器注册中心 执行器管理中心:管理执行器的执行 1....当要执行定时任务时,分布式调度中心先去执行器注册中心获取执行器地址列表 ? 3. 分布式任务调度中心会根据相应的路由策略选出其中的一个或者多个,然后再本地执行定时任务 路由测试有多种: ? ? 4....因为分布式调度中心和执行器实质是netty的服务器端和netty的客户端,两边保持长连接。当分布式任务调度中心的定时任务出发以后,会根据相应的地址去调用相应的执行器执行。...这样,我们的任务调度平台的管理后台就搭建成功了。

1.1K31

还在收集资料?我这里有个github汇总

国内程序员都喜欢收集资料,但是又不看,github是重灾区。更有莫名其妙fork的,让人不得要领。这些资料其实也代表了收集者的一个思路,还是有不小参考价值的。...star:38.1k 20、资料整理 https://github.com/doocs/advanced-java 互联网 Java 工程师进阶知识完全扫盲:涵盖高并发、分布式、高可用、微服务等领域知识...8、也浅谈下分布式存储要点 7、希望一个数据同步,包治百病 8、如何使用postgis做一个高可用的附近的人服务?...9、那些需要自己开发的安全需求 10、WebSocket协议 8 问 11、JAVA多线程使用场景和注意事项简版 12、上厅房,下厨房,ElasticSearch有的忙 13、分布式消息系统,设计要点。

936111

Elastic-Job 分布式调度平台

概述 referred:http://elasticjob.io/docs/elastic-job-lite/00-overview Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目...Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务。...功能列表 分布式调度协调 弹性扩容缩容 失效转移 错过执行作业重触发 作业分片一致性,保证同一分片在分布式环境中仅一个执行实例 自诊断并修复分布式不稳定造成的问题 支持并行调度 支持作业生命周期操作 丰富的作业类型...Spring整合以及命名空间提供 运维平台 使用指南 Elastic-Job提供了简单易用的运维平台,方便用户操作及查询作业。...DOC: 概览 起航 使用指南 运维平台 配置手册 作业分片策略 事件追踪 作业运行状态监控 dump作业运行信息 作业监听器 自诊断修复 操作手册 定制化处理 设计规划 ----

52330

基础架构之分布式任务平台

往往带有很多附带功能,比如订单确认给客户发送邮件或者短信,流程审批完成给申请人发送审批完成消息,根据会员生日提前发生日问候 等等,这些功能一般都是以任务的形式存在,少量的任务还好,如果多了,一个集中管理任务的平台还是非常有必要的...往往带有很多附带功能,比如订单确认给客户发送邮件或者短信,流程审批完成给申请人发送审批完成消息,根据会员生日提前发生日问候 等等,这些功能一般都是以任务的形式存在,少量的任务还好,如果多了,一个集中管理任务的平台还是非常有必要的...,xxl-job非常的优秀,是许雪里大神的作品,官方介绍在 http://www.xuxueli.com/xxl-job/#/ 这篇文章主要介绍平台的搭建及项目接入。...具体端口号可以在配置文件中设置,输入账号 admin/123456,就可以进入job管理平台,然后创建自己的执行器及任务。?在日志中可以方便的查看每次运行结果?...8xxl.job.db.user=rootxxl.job.db.password=123456xxl.job.login.username=adminxxl.job.login.password=123456到这里分布式任务平台搭建及使用就介绍完了

92240

Apache SeaTunnel 分布式数据集成平台

SeaTunnel 是一个非常好用的、超高性能的、分布式数据集成平台,架构于 Apache Spark 和 Apache Flink 之上,实现海量数据的实时同步与转换。...目标 SeaTunnel 尽所能为您解决海量数据同步中可能遇到的问题: 使用 Spark、Flink 作为底层数据同步引擎使其具备分布式执行能力,提高数据同步的吞吐性能; 集成多种能力缩减 Spark、...Oppo:基于 SeaTunnel 进行的二次开发搭建 ETL 特征生产处理平台。 Bilibili:基于 SeaTunnel 二次开发实现 AlterEgo 项目。...新浪大数据运维分析平台:新浪运维数据分析平台使用 SeaTunnel 为新浪新闻,CDN 等服务做运维大数据的实时和离线分析,并写入 Clickhouse。...永辉超市子公司-永辉云创会员电商数据分析平台:SeaTunnel 为永辉云创旗下新零售品牌永辉生活提供电商用户行为数据实时流式与离线 SQL 计算。

4.2K31

CCF企业非法集资风险预测Rank11赛后总结

这是老肥第一次参加CCF大数据与计算智能大赛,选择了企业非法集资风险预测这个相对简单的结构化数据赛题,本赛题共有4210人、3403支队伍参赛,是今年CCF BDCI大赛参赛人数最多的赛题,竞争也是异常激烈...赛题介绍 背景 非法集资严重干扰了正常的经济、金融秩序,使参与者遭受经济损失,甚至生活陷入困境,极易引发社会不稳定和大量社会治安问题,甚至引发局部地区的社会动荡。...如何根据大量的企业信息建立预测模型并判断企业是否存在非法集资风险,对监管部门、企业合作伙伴、投资者都具有一定的价值。...任务 利用机器学习、深度学习等方法训练一个预测模型,该模型可学习企业的相关信息,以预测企业是否存在非法集资风险。

84430
领券