开发 | 数据咨询师经验之谈:90% 的公司并不需要机器学习

AI科技评论按:掌握一件工具之前,首先要搞清楚用它做什么。而本质是工具的机器学习,近年来逐渐演变成一股潮流。

在美国企业数据方案咨询师 Eric Brown 看来,当下无数公司置其数据资本和实际问题与不顾,一窝蜂上马机器学习,实在是荒唐可笑。他特地发文表达了对该现象的批判和反思。

Eric Brown

Eric Brown:数据科学家要用数据说话。从数据上来看:你,和你的公司,并不需要机器学习。

我是认真的。

或许你不同意,那么听我解释。我说“从数据上看”,指的是对于当今世界的绝大多数公司,机器学习(ML)既非必要也无益处。各公司想要利用 ML 来处理的绝大部分任务,都是十分直接的问题——使用某种形式的回归即可完美解决。后者或许不是你在高中代数课上学到的线性回归,但仍会是某个回归函数。AI科技评论了解到,著名经济学家 Robin Hanson 最近发表了相同观点,他在推特上说道:

“一个优秀的计算机专家会说:大多数公司以为他们需要先进的 AI、ML 技术,其实,他们真的只需要在干净的数据上做线性回归。”

这句话中,“干净的数据“是重点。它极度、极度重要,但相当多的公司总是在处理数据时忘记、或者忽视这一点。若没有合格的数据质量,以及到位的数据治理、管理流程和系统,有极大的可能性你会陷入垃圾数据陷阱——“向模型输入的是垃圾,输出的也是垃圾”。太多数据项目如此,结果不了了之。

大多数公司并不知道数据管理是什么

我并不是一个数据管理、数据质量方面的专家导师。但我对这个领域有一定的了解——足够让我清楚不合格、不到位的数据管理是什么样。况且我经常遇到这些情况。在我与公司客户合作、帮助他们开展新数据项目的工作经历中(到现在已经变成了主要是讨论 ML 和深度学习),我问客户的第一个问题永远是:“告诉我你的数据管理流程”。如果对方不能合理地描述出这些流程,那么很显然 ML 并不合适——他们还没有做好准备。

过去的五年里,我估计有 75% 的情况下,客户对我的数据管理问题的回答是:

“ 嗯……我们有一部分数据存在一个数据库里,其他数据存在有合法权限的文件共享里。”

这不是数据管理,是数据存储。

如果你或你的公司并没有高质量、干净的数据,几乎可以断定,你并不适合机器学习(机器学习也不适合你)。搞任何数据项目,数据管理都是第一步。

如果你有搞数据管理

来找我的公司机构里,有一小部分安排了合格的数据管理工作。他们理解对于好的数据、好的分析而言,质量、治理和管理有多么重要。如果你的公司也是如此——恭喜你,在这方面你已经超过了绝大部分竞争对手。

但我要给你泼点冷水。仅仅因为有干净、高质量的数据,不意味你应该/需要搞机器学习。当然你可以搞,但大多数情况下真没这个必要。

过去五年向我咨询过的所有公司里,我会说:他们原本要用机器学习解决的问题,有 90% 最后只用了普通回归方式就完美解决。每当我推荐用简单的回归,来解决客户眼中的“复杂、高深”问题(AI科技评论注:他们下定决心要研发多重 ML、DL 模型来对付),人们总是相当惊讶。我也总是不得不向他们解释,他们可以走机器学习的路线,而且那样做或许也有价值。但能搞清楚基础建模、回归能为你做什么,ML/DL 是否在一些领域比基础回归函数更好,难道不是一件好事吗?

你说:我铁了心要搞机器学习

我还能说啥?那就大胆去做!没什么能阻挡你一直跋涉到 ML 和 DL 的深水区。毕竟机器学习有它的用处和舞台。只是记住:在充分了解你的数据,搞明白“经典”方法能为你要解决的难题做到哪一步之前,不要一股脑儿地栽进机器学习。

via Eric Brown

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

现在,AI 已经能预测病人什么时候死亡了,准确率达 90%

关键时刻,第一时间送达! ? 据国外媒体 Eurasia Review 报道,来自斯坦福大学的研究人员已经开发出了一种使用人工智能来预测病人何时死亡的系统,其准...

1759
来自专栏大数据文摘

Teradata CTO:将筛选数据的时间用来决策,机器学习如何改变商业决策模式

1914
来自专栏AI科技大本营的专栏

深度学习2016年度回顾:三大技术和三大趋势

---- 作者:简·布斯尔克(Jan Bussieck) 编译: AI100 原文地址: http://www.deeplearningweekly.com/b...

30910
来自专栏AI研习社

数据咨询师经验之谈:90% 的公司并不需要机器学习

编者按:掌握一件工具之前,首先要搞清楚用它做什么。而本质是工具的机器学习,近年来逐渐演变成一股潮流。 在美国企业数据方案咨询师 Eric Brown 看来,当下...

3437
来自专栏PPV课数据科学社区

【探讨】为什么数据分析师要用产品思维?

数据分析这词汇时髦的不得了,然而就像这些年所炒的各种概念一样,当冷静下来,请很多人解释数据分析到底是什么时,恐怕要有一个不错的答案很难。   比较常...

3375
来自专栏DT数据侠

邬学宁:未来30年人工智能将影响人类命运

上海2018年“创客中国”高峰论坛上,数据科学50人成员、SAP硅谷创新中心首席数据科学家邬学宁以“大数据驱动人工智能的应用和展望”为主题发表了演讲。随着物联网...

600
来自专栏CDA数据分析师

【学习】怎样成长为一名高级数据分析师?

很多朋友问沈老师,我是学统计分析的,为什么我还是不知道如何应用呢? 问题:沈浩老师,我有些问题想跟您请教一下,我现在从事的工作是互联网行业数据分析工作,我以前...

1957
来自专栏AI科技大本营的专栏

CCAI2017 | 智能金融论坛:听大佬们讲人工智能在金融领域的那些事儿

文/CSDN焦燕 整理/AI科技大本营(rgznai100) 7 月 22 - 23 日,在中国科学技术协会、中国科学院的指导下,由中国人工智能学会、阿里巴巴集...

3419
来自专栏IT派

“死亡算法”:预测死亡时间准确率达90%!

导读:在2017年11月的IEEE国际生物信息学与生物医学大会上,斯坦福大学计算机科学系的一名研究生Anand Avati对“死亡算法”的研究进行了报告:预测死...

3265
来自专栏人工智能头条

【CCAI大咖秀】崔鹏:物理模型结合大数据建模,弃用深度学习

1543

扫描关注云+社区