【05期】我的数据心经:从数据到智能

【05期】我的数据心经:从数据到智能

更新时间20170204

个人体会:单一的数据是完全没有意义的,只有在特定的背景下,才变成信息;对信息进行挖掘,发现其中的规律,成为了知识。在信息足够丰富的情况下,用机器实现自动获取知识,形成了人工智能。“智能”一词,并非单指人类才能独有。在《三体》小说中,一个观点是非生命体的低纬度的智子,仍然具备智能。毫无疑问,随着数据挖掘技术的进步,机器的“智慧”越来越高级,预测越来越准确。当机器给人类的决策建议,人类大部分都接受了,其实,机器从某个侧面上控制了人类。

来源:依据涂子沛的书《数据之巅》相关模型进行总结和改进

标签:数据分析、大数据、数据层次

摘录时间:2016年12月1日

【04期】我的数据心经:人工智能、机器学习和深度学习的关系

更新时间20161129

三者是包含的关系;

人工智能(Artificial Intelligence)为机器赋予人的智能;

机器学习是一种实现人工智能的方法,其最基本的做法,是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测;

深度学习是一种实现机器学习的技术,如神经网络算法等。

个人体会:人工智能在上世纪50年代就提出,为何近期才火爆?个人觉得关键是“计算能力”。摩尔定律揭示,当价格不变时,集成电路上可容纳的元器件的数目,约每隔18-24个月便会增加一倍,性能也将提升一倍。随着芯片计算能力的增强,分布式大数据计算架构发展,挖掘算法的完善,通过对海量数据的挖掘,使机器具备“智慧”成为可能。另一个重要原因是在互联网推动下,人类信息化程度得到长足提升,数据纬度和数量剧增,语音和图像识别技术也逐渐成熟。未来,机器将拥护很高的智慧,这是必然趋势。

【03期】我的数据心经:欺诈发现的三种思路

更新时间20161121

个人体会:对业务的深度理解,是发现欺诈行为的非常重要前提。此前在中国移动从事短信精准营销时,发现参与活动的“活跃”用户,其实是套利的用户(渠道分销商屯放电话卡,通过参与活动获得话费、优惠券和套取手机等方式获利,通称卡商)。针对他们的行为分析,发现他们的被动接电话次数和通话时长很低。后来在营销活动上,要求目标用户要锁定用户群(非全量,避免新号码套利),对号码有效性设置一定的门槛(比如被叫次数和被叫通话时长等指标要达到一定要求),从而规避套利风险,实现效果非常好。

在基于业务理解情况下,通过异常值分析、分类模型预测等,可以拟补通过业务经验无法发现的套利行为。

来源:张文彤、钟云飞在人大论坛的SPSS数据挖掘培训视频

标签:欺诈识别、数据挖掘

摘录时间:2016年9月1日

【02期】我的数据心经:模型验证

更新时间20161116

个人体会:模型效果验证除了以上指标外(常用的是准确率、覆盖率和增益图),在落地实施时一般要进行效果评估,通常是分三组(模型组、随机组和经验组)实施。经验组是业务和产品人员根据工作经验筛选出的目标用户。三组比较效果时,要考虑抽取比例一样(比如都抽取1%)或规模一致(比如都是100万)。

来源:张文彤、钟云飞在人大论坛的SPSS数据挖掘培训视频

标签:模型验证、流失预测、数据挖掘

摘录时间:2016年9月1日

【01期】我的数据心经:数据十戒

更新时间20161115

数据十戒

1、一切从定义问题开始,问题问好了,答案就在那里。

2、在万物皆数据的年代,要以“假设数据都能获取”为前提去思考问题。

3、数据助力企业的“四部曲”:描述现状、深入诊断、预测趋势、指挥行动。

4、“快+准”的数据,让我们可以从已知规律中寻找价值。

5、“广+乱”的数据,给予我们从发现中获取颠覆过去规律的能力。

6、大数据不是独奏,而是连接无处不在的数据。

7、数据技术就是加速和积累(数据、分析、服务)的能力。

8、大数据生态的链接需要建立标准与规范。

9、大数据是诸多小数据的组合。

10、数据是一种信仰。

个人体会:数据分析是个累活,数据分析师在企业中的价值远未被开发和使用,累但未体现价值,是大部分数据分析师的感受。在大数据趋势下,数据分析师会发挥更大的作用,数据化运营与运营数据,促使其自身价值被得到认可。但这个过程是漫长的,无信仰,不数据,需要坚持。

原文发布于微信公众号 - 数据的力量(shujudeliliang)

原文发表时间:2017-02-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

机器学习如何改变数字化企业的未来

根据《IDC Futurescapes》报告的预测,三分之二的全球2000强企业CEO将把数字化转型作为公司战略的重心。而战略的其中一个重要组成部分应该会包含机...

2665
来自专栏华章科技

6个用好大数据的秘诀

  就算一个公司拥有再多的数据,也不能代表它就一定会获得商业上的成功。只有真正懂得如何利用大数据,了解到公司利用大数据可以达到什么目标,公司最终才有可能真正成...

591
来自专栏目标检测和深度学习

2018机器阅读理解技术竞赛开始报名 百度提供中文阅读理解数据集

3月1日,由百度公司、中国中文信息学会(CIPS)、中国计算机学会(CCF)联手举办的“2018机器阅读理解技术竞赛”正式开启报名通道。 本次竞赛,百度将提供面...

3479
来自专栏量子位

谷歌TPU威胁英伟达?黄仁勋再发长文表示“不以为然”

李杉 编译整理 量子位 报道 | 公众号 QbitAI 在谷歌发布TPU2当天,英伟达股价颤抖了一下。 虽然股价后来又涨了回来,但谷歌可能使用自有芯片处理人工智...

40818
来自专栏PPV课数据科学社区

【观点】大数据时代社交图谱与兴趣图谱的融合

首先,我想问大家一个问题,这个词我们听了好长时间了,大数据,什么是大数据?这个词大概从去年,然后很多人就不停的听到,可能很多同学在跟硬件相关的厂商那边听到,所以...

40713
来自专栏腾讯大讲堂的专栏

人工智能连接内容创作与消费

引言:6.14日“腾讯创新日:科技年技术盛宴”代表腾讯各个事业群技术实力的四级专家、腾讯微创新2016年度创意获奖团队欢聚一堂,一起畅谈AI、系统安全、架构设计...

3757
来自专栏大数据

数据分析入门(二)

昨天讲到数据分析的步骤分为六步: 一.明确分析目的及思路 二.数据收集 三.数据处理 四.数据分析 五.数据展现 六.输出报告 一.明确分析目的及思路 1.明确...

1828
来自专栏灯塔大数据

TA是什么“鬼”?一个优秀数据科学家的主要构成特点

? 根据三位作者的咨询和研究经验,以及与许多大数据和分析主题的公司合作,了解一个良好的数据科学家具有哪些主要特征。 大数据分析已经满天都是,IBM项目,每天...

2859
来自专栏PPV课数据科学社区

编译 | 机器学习的趋势和人工智能的未来

数据飞轮,算法经济,和智能云托管的融合意味着每家公司现在可以是一个数据公司,每家公司现在可以访问算法智能,并且每一个应用程序可以是一个智能应用。 ? 每家公司现...

4389
来自专栏腾讯研究院的专栏

大数据带来的四种思维

近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处...

2039

扫码关注云+社区