开发 | 数据咨询师经验之谈:90% 的公司并不需要机器学习

AI科技评论按:掌握一件工具之前,首先要搞清楚用它做什么。而本质是工具的机器学习,近年来逐渐演变成一股潮流。

在美国企业数据方案咨询师 Eric Brown 看来,当下无数公司置其数据资本和实际问题与不顾,一窝蜂上马机器学习,实在是荒唐可笑。他特地发文表达了对该现象的批判和反思。

Eric Brown

Eric Brown:数据科学家要用数据说话。从数据上来看:你,和你的公司,并不需要机器学习。

我是认真的。

或许你不同意,那么听我解释。我说“从数据上看”,指的是对于当今世界的绝大多数公司,机器学习(ML)既非必要也无益处。各公司想要利用 ML 来处理的绝大部分任务,都是十分直接的问题——使用某种形式的回归即可完美解决。后者或许不是你在高中代数课上学到的线性回归,但仍会是某个回归函数。AI科技评论了解到,著名经济学家 Robin Hanson 最近发表了相同观点,他在推特上说道:

“一个优秀的计算机专家会说:大多数公司以为他们需要先进的 AI、ML 技术,其实,他们真的只需要在干净的数据上做线性回归。”

这句话中,“干净的数据“是重点。它极度、极度重要,但相当多的公司总是在处理数据时忘记、或者忽视这一点。若没有合格的数据质量,以及到位的数据治理、管理流程和系统,有极大的可能性你会陷入垃圾数据陷阱——“向模型输入的是垃圾,输出的也是垃圾”。太多数据项目如此,结果不了了之。

大多数公司并不知道数据管理是什么

我并不是一个数据管理、数据质量方面的专家导师。但我对这个领域有一定的了解——足够让我清楚不合格、不到位的数据管理是什么样。况且我经常遇到这些情况。在我与公司客户合作、帮助他们开展新数据项目的工作经历中(到现在已经变成了主要是讨论 ML 和深度学习),我问客户的第一个问题永远是:“告诉我你的数据管理流程”。如果对方不能合理地描述出这些流程,那么很显然 ML 并不合适——他们还没有做好准备。

过去的五年里,我估计有 75% 的情况下,客户对我的数据管理问题的回答是:

“ 嗯……我们有一部分数据存在一个数据库里,其他数据存在有合法权限的文件共享里。”

这不是数据管理,是数据存储。

如果你或你的公司并没有高质量、干净的数据,几乎可以断定,你并不适合机器学习(机器学习也不适合你)。搞任何数据项目,数据管理都是第一步。

如果你有搞数据管理

来找我的公司机构里,有一小部分安排了合格的数据管理工作。他们理解对于好的数据、好的分析而言,质量、治理和管理有多么重要。如果你的公司也是如此——恭喜你,在这方面你已经超过了绝大部分竞争对手。

但我要给你泼点冷水。仅仅因为有干净、高质量的数据,不意味你应该/需要搞机器学习。当然你可以搞,但大多数情况下真没这个必要。

过去五年向我咨询过的所有公司里,我会说:他们原本要用机器学习解决的问题,有 90% 最后只用了普通回归方式就完美解决。每当我推荐用简单的回归,来解决客户眼中的“复杂、高深”问题(AI科技评论注:他们下定决心要研发多重 ML、DL 模型来对付),人们总是相当惊讶。我也总是不得不向他们解释,他们可以走机器学习的路线,而且那样做或许也有价值。但能搞清楚基础建模、回归能为你做什么,ML/DL 是否在一些领域比基础回归函数更好,难道不是一件好事吗?

你说:我铁了心要搞机器学习

我还能说啥?那就大胆去做!没什么能阻挡你一直跋涉到 ML 和 DL 的深水区。毕竟机器学习有它的用处和舞台。只是记住:在充分了解你的数据,搞明白“经典”方法能为你要解决的难题做到哪一步之前,不要一股脑儿地栽进机器学习。

via Eric Brown

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

为什么“高大上”的算法工程师变成了数据民工?

算法与算法工程师 在知乎里回答“做算法工程师是一种怎样的体验?”的答案(其中的思想并非原创,而是山寨自新加坡某大学一门Quantitative Investme...

96090
来自专栏Android 开发者

人工智能时代,如何做设计?

76480
来自专栏镁客网

2016年人工智能产业梳理:一朝引爆,稳步前进(上篇)

13750
来自专栏机器之心

GMIS 2017 | 今日头条副总裁马维英:信息流的未来与人工智能的机会

机器之心整理 演讲者:马维英 全球机器智能峰会( GMIS 2017),是全球人工智能产业信息服务平台机器之心举办的首届大会,邀请了来自美国、欧洲、加拿大及国内...

550110
来自专栏AI科技大本营的专栏

程序员转型AI,这里有最全的机器学习介绍+应用实例

编译 | AI科技大本营 参与 | 张子琦 编辑 | 明明 机器学习是人工智能的一个分支,已经成为当今最热门的趋势之一。据Gartner公司预测,到2020年,...

355150
来自专栏新智元

【AI 复始,万象更新】2017 年机器学习技术&市场预测 Top 10

【新智元导读】在新年来临之际,新智元向你推荐 bigML 网站 2017 开年特稿,文章引用权威报告、著名媒体报道等各种数据,从投资、创业、人才、工作内容、竞争...

292100
来自专栏吉浦迅科技

当HPC遇到AI

作者:Shahin Khan, OrionX 翻译:GPU世界 高性能(HPC)和人工智能(AI)的结合正创建一个充满活力的新市场:“高性能人工智能”(HPA...

40890
来自专栏AI科技评论

洞见 | 专访中科创达王璠:怎样做好嵌入式人工智能的算法开发?

目前在人工智能领域,不管是学术圈还是工业圈,大家都认同一个趋势,那就是在很多应用场景上计算需要落地到设备上,让设备拥有智能化——即嵌入式的AI,这个是人工智能领...

42190
来自专栏企鹅号快讯

量子技术与人工智能:同时进化的双生子

诞生于 1965 年的摩尔定律,对二十世纪后半叶的世界经济增长做出了巨大贡献,并驱动了一系列科技创新和经济增长。摩尔定律预测集成电路上晶体管的数量每两年翻一倍,...

239100
来自专栏AI科技评论

关于机器学习,你所知道的,可能都是错的

虽然机器学习已经成为一个高频名词,但是对于大众而言,它依然是一个遥不可及乃至模糊不清的概念。为此,著名投资人 Benedict Evans 在自己的博客上发表博...

11220

扫码关注云+社区

领取腾讯云代金券