学习
实践
活动
工具
TVP
写文章

量化基于Hadoop、Spark、Storm的大数据风控架构

量化通过基于机器学习和互联网化的风险定价,整合互联网及传统数据源,对个人在消费金融应用场景里的信用风险进行评估。这篇文章就主要介绍一下量化的大数据平台,以及机器学习在量化的应用。 图一 量化的数据来源 二、量化的大数据平台架构 量化的信用钱包每天都会获取大量的用户的注册信息等结构化数据以及爬虫抓取的非结构化数据,还有第三方的接入数据,系统运行产生的日志数据等等,数据的形式多种多样 量化的业务也决定了公司是数据驱动型的。 量化公司的数据平台架构如图二所示。 ? ;于博,量化大数据架构师 。

82630

对话王耿:找到了AI之匙

定位于熟人社交APP的在2014年初正式上线,以娱乐社交为切入点,融合了等级身份、家族体系、聊天室等新玩法。 站在用户的角度思考问题,并为此提供个性化的产品正是在做的事情。 有了成功运营千万级别用户的经验,也会针对用户行为进行个性化分析。例如,的主力用户多生活在三、四线城市,其中20岁以下的用户喜欢在上午9点到下午两点之间在线,原因是期间周围活跃的朋友也会比较多。 举个例子,的问答功能完全结合的用户喜好,如果其喜欢历史就匹配历史题库、喜欢军事就会匹配到军事题库。 王耿透露,在AI方面的应用都会陆续依托于腾讯云而发展,“腾讯云的AI能力是顶尖的。

55220
  • 广告
    关闭

    年末·限时回馈

    热卖云产品年终特惠,2核2G轻量应用服务器6.58元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【树莓】树莓安装OpenWrt

    raspberry_pi_foundation/raspberry_pi 选择对应版本镜像下载,解压,刷入sd卡 配置 配置ip 刷入后默认lan的ip为192.168.1.1,但是没有开启DHCP 需要电脑网线连接树莓

    21710

    模型量化

    下图显示不同量化策略对速度的提升影响 ? 量化卷积过程 ? 加速策略: AND, XOR and bitcount operations 训练过程 ? 分类性能对比 ?

    51210

    图像量化

    from skimage import data from matplotlib import pyplot as plt image=data.coffee()#原始图像 ratio=128#设置量化比率 range(image.shape[2]):#图片通道数 image[i][j][k]=int(image[i][j][k]/ratio)*ratio#对图像中的每个像素进行量化 本文的图像量化过程是将256级的彩色图像量化到2级的彩色图像。 量化等级越多,量化比率越低,所得图像层次越丰富,灰度分辨率越高,图像质量好,但数据量大;量化等级越少,量化比率越高,图像层次欠丰富,灰度分辨率低,可能会出现假轮廓,图像质量变差,但数据量较小。 图像量化的作用是在一定主观保真图像质量的前提下,丢掉对视觉影响不大的信息,以获得较高的压缩比。

    15220

    量化交易

    量化投资没有确切的定义,它泛指通过数学分析、挖掘价格波动规律,或者通过对相关宏观经济、财务数据、量价关系、资金交易等数据进行建模,寻找数据之间的关系,以获得稳定利润为目标,持续计算生成定量化的投资信号 多资产多策略配置: 对冲风险更高收益 技术信息理论的三大假设 市场行为包容消化一切信息 市场运行以趋势方式演变 历史会重演(我们可以通过历史数据来推断未来走势 绩效评估指标 绩效指标也被称为风险指标,它们也是量化投资的基石

    9520

    平民化量化平台-刚米量化

    目前国内量化基金规模已经越来越庞大,量化投资的规模更是巨大,计算机的运行速度已经远远超过我们大脑,虽然说无法做到每次投资都赚钱,但只要数据够大,胜率超过50%以上,甚至60%以上,经过长时间的复利,就能达到很好的效果 量化交易具有以下几个方面的特点:     1、纪律性。根据模型的运行结果进行决策,而不是凭感觉。纪律性既可以克制人性中贪婪、恐惧和侥幸心理等弱点,也可以克服认知偏差,且可跟踪。     2、系统性。 普通人是否适合量化? 1 其实普通人很难进行量化,因为量化的基础是基于历史大数据,如果实盘还需要实时数据,这些都是很耗费人工和资金的。 那普通人想要尝试量化,该如何做呢? 在刚米量化平台你可以做什么?

    7930

    【白话模型量化系列一】矩阵乘法量化

    然后整数矩阵 的数值范围其实就是有符号整数的表示范围 , ,为了实现的简单,我们只量化到 ,这样就和 一样关于零点左右对称了。 如果我们强行还按照 的范围来量化relu结果 的话会怎么样呢?这样会导致整数区间 永远不会有数字,因为根本没有负数浮点数的存在。这样就白白浪费了127个整数,就会导致量化的精度大大受损。 总结 如果矩阵乘法两个输入的范围都是关于零点对称的,那么计算公式为: 「量化:」 「反量化:」 如果矩阵乘法其中一个输入是relu的结果,那么计算公式为: 「量化:」 「反量化:」 当然还有很多其他情况 此外为了减小量化的损失,还需要在模型结构中插入伪量化节点,然后进行量化感知训练(QAT)。接着还需要将finetune后的模型存储为int8格式。然后还需要开发加载int8模型的推理加速库代码。 网上关于量化的优秀教程非常多,我不会讲太多理论上的量化知识,只会从实践的角度来白话一下我们在Transformer模型量化过程中做的一些尝试。

    16920

    buildroot 树莓_树莓忘记root密码

    buildroot-2016.11.2.tar.gz 解压 tar -xvf buildroot-2016.11.2.tar.gz 配置 将入config目录查看相应配置文件 cd configs ls 查找到树莓相关配置文件进行配置

    6720

    十年量化老兵谈量化:玩转量化投资你需要这些技能

    量化能看到更多的机会,比如说现在A股有将近3000只股票,如果不用量化,靠一个人的力量最多管理到300只已经很难了,但量化,30000只的管理和3000只几乎没什么差异。 【投研体系】“量化老兵投资体系三大支柱” 问:您这些年一直是做量化投资的,能否讲讲您的量化投资体系? 持有封基:我入市整整十年,一直是量化投资。基本面、技术面,只要能吃饱的都是一碗好面。 “构建量化模型的四个步骤:猜想、建模、回测、实战” 问:具体而言,您是如何构建量化模型的吗?如何确定量化因子的? 持有封基:量化四步骤——猜想、建模、回测、实战。 “做好量化投资:有数学天赋很重要” 问:你做量化差不多十年了,在您看来要做好量化投资,需要做些什么准备? 持有封基:除了热爱投资,还需要热爱数学,热爱量化,这是最根本的。 因为量化投资是一条充满荆棘的道路,只有真正热爱才会浸润在量化中以此为乐。

    1.2K60

    Pytorch量化入门之超分量化(一)

    来源:AIWakler 最近Happy在尝试进行图像超分的INT8量化,发现:pytorch量化里面的坑真多,远不如TensorFlow的量化好用。 背景 量化在不同领域有不同的定义,而在深度学习领域,量化有两个层面的意义:(1) 存储量化,即更少的bit来存储原本需要用浮点数(一般为FP32)存储的tensor;(2) 计算量化,即用更少的bit 对于量化后模型而言,其部分或者全部tensor(与量化方式、量化op的支持程度有关)将采用INT类型进行计算,而非量化前的浮点类型。 Training Static Quantization:静态量化,训练后静态量化,这是CV领域应用非常多的一种量化方式; Quantization Aware Training:感知量化,边训练边量化 ,一种比静态量化更优的量化方式,但量化时间会更长,但精度几乎无损。

    1.4K21

    龙芯VS树莓 运行功耗实测

    龙芯VS树莓 运行功耗实测 1.概述 2.龙芯教育 3.树莓2b的功耗情况 4.树莓3b+的功耗情况 5.树莓4b的功耗情况 6.树莓pico功耗情况 7.总结 1.概述 龙芯、树莓都是开源硬件 龙芯教育、树莓4b、树莓3b、树莓2b、树莓pico的一些正常工作时功耗情况。这些选手的性能评测今天并不是考核的重点,就通过正常的上电运行默认的程序,来对比一下功耗的情况。 2.龙芯教育 龙芯搭载两个 2K1000 处理器(主频 1GHz,CPU GS264),板载 DDR3 颗粒,实现 DDR3 的运行存储功能。实现了 GPIO 的输入输出,中断功能。 5.树莓4b的功耗情况 树莓4B的核心处理器为博通BCM2711(四核1.5GHz,Cortex A72架构,树莓3是四核A53)。 7.总结 从上述测试结果来看,树莓2b、3b+、4b差别微小,龙芯耗电太多,发热也严重,树莓pico功耗低,是真正的低功耗模块。

    1.6K20

    从零开始学量化(一):量化如何入门

    作为在校生,进入量化行业的途径一般是首先自己在学校能掌握一定的量化基础,然后去企业找实习,最终通过实习/秋招留用。实习一般是去卖方研究所金工组、买方私募公募资管自营等各种机构,这里不介绍,可百度。 关于量化基础,实际上可以总结为三方面的能力:金融背景、数学功底和编程能力,编程能力是门槛,编程不好,什么都白谈。 接下来分别从量化、数学、金融三个角度说明。 ? 数据可视化能力 不论是做数据分析还是量化,可视化都是非常重要的,不过量化方向可视化要求相对低一些,毕竟逻辑和结果更重要。 这方面需要会的东西包括: - 宏微观经济学:了解刻画宏观经济运行的各种经济指标的含义,以及公布的时间点,频率等等,这在量化建模中非常重要,现在有很多研究所都在从宏观基本面做量化择时和经济周期预测,至于课本里学的

    6.5K93

    话说量化(4)

    货币——也就是我们俗称的“钱”是世界上最可爱的东西之一,可以说没有它的刺激,也就没有我们现在这么繁荣的市场,也没有这么丰富的各类物质产品和幸福生活。

    32320

    话说量化(10)

    K线图,大家应该不陌生,至少在影视剧里,在平常的财经新闻报道中应该都见过。如果是超过股的朋友那就更不会陌生了,K线图几乎就是在炒股过程中必不可少的工具,我们用它...

    21510

    StartRocks向量化

    StartRocks来源于DorisDB,执行引擎号称进行了全面向量化。 简单介绍其功能: 向量化带来的优势: 分为1.0和2.0: SIMD指令优化案例: 通过SIMD原语操作函数进行计算时,比如__m128i,这个是128位,若是int类型则是4个int

    45020

    树莓搭建个人网站_树莓 freenas

    单树莓/双树莓+USRP+srsLTE分布式搭建4G LTE微基站 前言 一、添加SIM卡的配置信息 二、修改enb配置信息 三、修改epc配置信息 四、修改手机SIM卡配置信息 五 、树莓运行srsepc,电脑1运行srsenb 1.下行灌包测试 2.上行灌包测试 六、树莓4B运行srsenb,树莓3B运行srsepc 1.下行灌包测试 2.上行灌包测试 七、LTE载波频率和载波频点号 _12 树莓3B Ubuntu18.04.4 LTS for Raspi3 arm64 3.15.LTS 19_12 树莓4B Ubuntu18.04.4 LTS for Raspi3 arm64 经测试,对于同一个手机Redmi 4,在电脑运行srsenb,树莓运行srsepc的情况下,树莓3B与4B的效果相同,在手机上测得的最高速率均为下行36.52Mbps,上行13.42Mbps。 六、树莓4B运行srsenb,树莓3B运行srsepc 参考:SRSLTE树莓4应用说明 在运行eNB的树莓4B上开启性能模式: sudo systemctl disable ondemand

    7120

    CNV的量化

    Numeric focal-level Copy Number Variation (CNV) values were generated with "Mask...

    63320

    扫码关注腾讯云开发者

    领取腾讯云代金券