首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

统计思维如何帮助大数据应用人工走向智能?(下)

本文首发于知乎(作者:京东金融)链接:https://zhuanlan.zhihu.com/p/42652565 欢迎各位同学回来,本文承接上周发表的文章:统计思维如何帮助大数据应用人工走向智能?...“头”的角度,早期借钱平台放款笔数较少,并且风控策略仍在试探阶段,因而导致这些数据坏人规律性不强。...、测试数据、当前数据缺失率的变化,处理部分缺失,去除缺失率过高或者缺失率变化较大的特征;(3)计算特征的统计分布或者利用箱线图等,处理部分异常值,去除异常值占比过高的特征;(4)计算训练集与测试集、...在实际数据测试,子模型通常可以比通用模型ks提高0.03-0.05。 以上就是笔者哥大论坛和实际工作案例总结的一些关于统计思维的思考。...人工智能算法发展到今日,数据工作者们的关注重心也单纯的模型结果逐步转向预测的过程。加入更多的统计思维,提高模型的精细度和智能化,是笔者认为人工智能走向下个阶段的必由之路。

60820

统计思维如何帮助大数据应用人工走向智能?(上)

因而,大数据应用的时候是需要智慧的,这个智慧可以通过统计思维来系统地注入到这个应用。当下数据科学领域的一些学术研究,不是从实际问题出发,而是工具出发的,这样在数据科学里面有点本末倒置的感觉。...最近在数据科学领域经常讨论的,就是说你有这个目标,需要人工智能来实现,这个人工智能的关键字不是在人工而是在智能。...论坛的最后,郑甜教授还就大数据如何在行业内创造价值、需要统计学解决的大数据问题以及统计学如何更有效地为大数据做出贡献这三方面,与各位行业内的专家展开了讨论。...翁志教授表示,在京东集团内部,大数据帮助我们了解每个用户的消费习惯,预测商品的趋势以及未来销量,以及更加智能地选择商铺的位置。...在本文下半部分,笔者将会结合自己实际工作的一些案例,分享下统计思维在京东金融建模场景的应用,来看看我们的模型是如何一步一步走向智能的,敬请期待。

62320

在 Vue 如何插槽中发出数据

我们知道使用作用域插槽可以将数据传递到插槽,但是如何插槽传回来呢? 将一个方法传递到我们的插槽,然后在插槽调用该方法。 我信无法发出事件,因为插槽与父组件共享相同的上下文(或作用域)。...emit 当一个槽与父组件共享作用域时意味着什么 插槽到祖父组件的 emit 更深入地了解如何使用方法插槽通讯回来 插槽到父级的 emit 现在看一下Parent组件的内容: // Parent.vue...插槽向祖父组件发送数据 如果要从插槽把数据发送到祖父组件,常规的方式是使用的$emit方法: // Parent.vue <button @click=...插槽发回子组件 与Child 组件通讯又如何呢?...我们知道如何数据从子节点传递到槽 // Child.vue 以及如何在作用域内的插槽中使用它

3K20

Slice如何网络消费数据获得商机

多数消费者行为都是从小规模消费者群体推断、预测或推测的。当市场营销人员数据经纪商处购买信息时,很多信息都陈旧不堪或者不完整。 这就是布雷迪的网购数据分析公司Slice为何如此激发人兴趣的原因所在。...由于该应用大获成功,它即将推出一项智能服务,消费者数据这一宝藏深入挖掘——这是一个储存着两百多万人在线购物习惯的数据库。 ?...“除苹果公司之外,iPhone 6上市的最大赢家是T-Mobile,该公司产生的预订在首个周末的所有订单占到了约20%,超过了该公司的市场份额,”Slice Intelligence首席数据官卡尼什卡...在众多数据,Slice的分析显示,这家婴儿护理公司的客户在预定鲜花方面的支出,大幅超过与他们实力最接近的竞争对手。...他指出,且不说直接的数据营销这一年产值550亿美元的行业,单美国传统的第三方数据经纪商一年的销售规模就是150亿美元,而这些秘密渠道获得消费者数据并且从中牟利的公司,和消费者的关系却等于零。

1.5K70

WinCC 如何获取在线 表格控件数据的最大 最小和时间戳

1 1.1 <读取 WinCC 在线表格控件特定数据列的最大、最小和时间戳,并在外部对 象显示。如图 1 所示。...左侧在线表格控件显示项目中归档变量的,右侧静态 文本显示的是表格控件温度的最大、最小和相应的时间戳。 1.2 <使用的软件版本为:WinCC V7.5 SP1。...6.在画面配置文本域和输入输出域 用于显示表格控件查询的开始时间和结束时 间,并组态按钮。用于执行数据统计和数据读取操作。如图 7 所示。...其中“读取数据”按钮下的脚本如图 9 所示。用于读取 RulerControl 控件数据到外部静态文本显示。注意:图 9 红框内的脚本旨在把数据输出到诊断窗口。不是必要的操作。...3.最后点击 “读取数据” 按钮,获取最大、最小和时间戳。如图 12 所示。

8.9K10

如何机器学习数据获取更多收益

这个问题无法通过分析数据得到很好的解决,只能是通过一次次的制作数据集、搭建模型并进行仿真实验才能发现如何最好地利用数据集以及选取什么样的模型结构。  ...1.问题框架 用多种方法建模预测问题。问题的框架是指: 输入 输出 问题的类型 比如 可以使用更多或更少的数据作为模型的输入吗? 可以预测其它的东西吗? 能把问题转换为回归/分类/序列等问题吗?  ...在这个过程,可以借鉴一些其它项目、论文和领域中的想法,或者是展开头脑风暴等。在之前的博客《如何定义你的机器学习问题》,我总结了一些框架,可供读者参考。...2.收集更多的数据数据越多越好,只要是与预测结果相关的数据都是可以的。因为对于某个具体任务而言,不清楚多少数据量才算合适。数据是开发模型期间使用的货币!...3.研究数据 将能够想到数据都可视化,各个角度来看收集的数据

8.3K20

如何单体应用拆分富数据服务

拆分步骤对现有单体应用的逻辑分割开始:将服务行为拆分为一个单独的模块,然后把数据拆分到单独的数据。一系列动作之后,这些元素最终成为一个自治的新服务。 单体应用向较小服务的迁移是目前的主流趋势。...这个转换过程之中最难的部分,就是单体应用所持有的数据把新服务所属的数据拆分出来。如果单体应用拆分出来的逻辑部分仍然连接到同一个数据库,这种拆分无疑是比较简单的。...下面讲到的模式,我们建议完成其中的所有步骤来完成拆分工作。服务分拆过程之中的最大障碍并非来自技术,而是如何让既有的单体应用客户迁移到新的服务之中去。我们将在第五步讨论这一话题。...类似的,数据也不该有核心商品信息和商品定价信息之间的硬约束。所有的 JOIN 和 约束都应该数据库层转移到逻辑层。...图 9:指向定价数据库的定价服务。 步骤 9:单体应用删除新服务相关的逻辑和数据 这里就要从原有应用删除定价功能相关的逻辑和数据库了。

1.3K30

. | 利用深度学习基因转录数据预测药物疗效

3 模型 3.1数据预处理 本文使用的数据集是L1000,该数据来源于一个项目库(Integrated Network-Based Cellular Signatures),对其进行清洗处理,按照以下规则进行清洗...3.2 方法 模型输入与疾病标志性基因表达谱变化有关的药物分子数据,输出药物作用下的基因表达谱信息,从而预测疾病药物分子。...,随后将获得的新特征表示拼接成一维的向量输入到全连接层输出两个新的特征表示,分别是中心向量和半径向量,对中心向量和半径向量进行采样获得新的向量表示,随后作为隐向量输入到一个含有5层全连接层的神经网络(...注射不同药物分子14天之后小鼠体内血清ALT(丙氨酸氨基转移酶)和AST(天冬氨酸氨基转移酶)水平 5 总结 基于靶标-蛋白的药物发现方法面临着许多疾病的通路机制不清楚的困难,为了克服这一困难,本文提出了一个基于深度学习的药效预测系统...(DLEPS),该系统利用复杂疾病的基因指纹信息来预测潜在疾病药物分子,使用超过百万个基因指纹和与这些基因指纹信息有关联的17051个结构多样的小分子数据进行训练和测试,其中测试集的Pearson相关系数达到

73340

如何数据在PBI智能化显示 - 效果

数据智能化显示,让作图能力上到一个新的台阶。这将需要综合运用 Power BI 及 DAX 的众多高级思维模式和技巧实现,是高级专家值得仔细研究的课题。...矩阵数据的智能化显示 用户希望矩阵数据可以根据自己的大小自行判断并给出紧凑的显示,如下: 大部分的产品的年销售额都是几十万规模,用英文规范显示,就是多少 K ,而总计则超过了百万,则应该显示为...如果你认为这种方法只是对矩阵文本的处理,那就错了,因为除了矩阵外,我们还需要对图表(如:柱形图)的显示做智能化处理,如下: 在向下钻取后,如下: 如果切换到中文模式,如下: 这样一来,矩阵和图表数据都可以得到正确合理的显示...需求总结 这里给出了一个非常实用而强大复杂的需求,显然已经被完美实现了,下文我们将继续讲解如何解决这里面的各种问题。...我们将会用一系列文章来说清楚这个复杂的问题如何被解决以及这背后蕴含了怎么样的思想。

3.8K30

如何使用DNS和SQLi数据获取数据样本

泄露数据的方法有许多,但你是否知道可以使用DNS和SQLi数据获取数据样本?本文我将为大家介绍一些利用SQL盲注DB服务器枚举和泄露数据的技术。...我需要另一种方法来验证SQLi并显示可以服务器恢复数据。 ? 在之前的文章,我向大家展示了如何使用xp_dirtree通过SQLi来捕获SQL Server用户哈希的方法。...此外,在上篇文章我还引用了GracefulSecurity的文章内容,而在本文中它也将再次派上用场。 即使有出站过滤,xp_dirtree仍可用于网络泄露数据。...在下面的示例,红框的查询语句将会为我们Northwind数据返回表名。 ? 在该查询你应该已经注意到了有2个SELECT语句。...此查询的结果是我们检索Northwind数据第10个表的名称。你是不是感到有些疑惑?让我们来分解下。 以下内部的SELECT语句,它将返回10个结果并按升序字母顺序排序。 ?

11.5K10

如何处理数据库表字段的特殊字符?

现网业务运行过程,可能会遇到数据库表字段包含特殊字符的场景,此场景虽然不常见,但只要一出现,其影响却往往是致命的,且排查难度较高,非常有必要了解一下。...表字段的特殊字符可以分为两类:可见字符、不可见字符。...可见字符处理 业务的原始数据一般是文本文件,因此,数据插入数据库表时需要按照分隔符进行分割,字段包含约定的分隔符、文本识别符都属于特殊字符。...有人就说了,我接手的别人的数据库,不清楚是不是存在这个问题,这个咋办呢?没关系的,一条update语句就可以拯救你。...customer SET email = REPLACE (email, '|', '_'); 不可见字符处理 上边讲述了可见字符的处理,对于不可见字符例如:换行符LF、回车键CR,又该如何处理呢

4.5K20

携程如何海量数据构建精准用户画像?

如上图所示,用户画像的注册在一个典型的Mis系统完成,UserProfile数据的提供方在这里申请,由专人审核。申请时,必须填写画像的含义、计算方式、可能的等。 ?...这样的计算由于耗时较长,一般我们会采用T+N的方式异步更新,根据画像的不同,数据新鲜度的要求亦不同。动态和组合标签大多采用异步方式计算更新。Hive、DataX等开源工具被使用在这个步骤。...携程的用户画像仓库一共有160个数据分片,分布在4个物理数据集群,同时采用跨IDC热备、一主多备、SSD等主流软硬件技术,保证数据的高可用、高安全。...3.5.监控和跟踪 在数据流转的最后,数据的准确性是衡量用户画像价值的关键指标。基于高质量信息优于大数量信息的基调,我们设置了多层监控平台。多个维度衡量数据的准确性。...比如就用户消费能力这个画像,我们用户等级、用户酒店星级、用户机票两舱等多个维度进行验证和斧正。同时我们还要监控数据的环比和同比表现,出现较大标准差、方差波动的数据,我们会重新评估算法。 ?

2.6K100

通用电气如何数据创收10亿

点击标题下「大数据文摘」可快捷关注 作者: Heather Clancy 摘自:财富中文网 该公司现在为各种联网工业设备提供预测性维护与优化服务,这些设备类型广泛,医学成像系统、机车、喷气发动机均囊括在内...检测到某一数据过高时,它便呼叫一位现场服务人员前来帮助。在它的人类同事到达后,机器人将报告发送到此人佩戴的智能眼镜上,交给他一份数据库下载的维修步骤说明。...现在,这些信息正在帮助GE的客户提高运营效率,进行预测性维护与诊断来减少停机时间,以及应用于机队管理的同步化。...GE副总裁兼销售与市场商务官凯特•约翰逊举了一个例子:最近,一家海上石油钻井平台运营商在动态生产数据检测到了异常状况,从而避免了潜在的事故。通过及时更换问题部件,该公司避免了750万美元的损失。...亚航集团飞行员技术和效率主管拉杰什•吉尔说:“这些数据一直用于安全领域,现在这些实时数据流还可用来规划航线。”

71440
领券