逻辑回归和深度神经网络:哪个更适合你?

【导读】简单的逻辑回归于复杂的深度神经网络都广泛应用于各种分类场景,但是针对不同的任务到底哪种模型更适合呢?本文从参数量和特定数据的使用两方面来阐述两种模型的区别以及各自的适用场景,对我们的具体实践具有很强的指导意义。专知内容组编辑整理。

上图从数据科学中心采取的图表

Logistic Regression vs Deep Neural Networks

by David Young

图片说明的虽然很形象,但我们更关心的问题是“每种技术在不同的场景下各有什么优势?”

深度神经网络和逻辑回归的最明显的区别应该是:深度神经网络比逻辑回归估计有更多的参数。所以这时候我们要考虑的问题就是:在哪些情况下我们需要使用更多的参数。

为了获得可靠的估计,你需要一个合适的数据量与参数的比例关系,所以使用个更多参数的第一个条件是要有大量的数据,这样才能支撑起更多参数的估计。如果没有很多数据,那么你将用小数据估计很多参数,最后会得到过拟合的结果。因此,根据具体情况,深度神经网络的附加节点(additional granularity)要么代表额外的细节,要么代表误差倾向。

第二个关键区别是理解“为什么我们的预测是准确有效的”,或者如何理解需要以哪些特定的方式使用某些数据来限制方程。 我们都知道溺水和冰激凌销售相关的例子,因为相对来说人在夏天游泳和淹死都比较多,而且夏天人们也吃更多的冰淇淋。 冰淇淋的销售可能有助于表明“人们何时会被淹死”,但这并不表示“人们为什么淹死”。 需要了解“为什么”意味着限制数据的使用方式并保证逻辑推理是非常重要的。 公式越复杂,分析人员越少,你就越能够理解什么导致了什么、为什么预测起作用、以及它何时可能停止。

另一方面,“为什么”有时并不像“是什么”那么重要。 深度神经网络的突破性应用是机器视觉、图像分类、或将视频转换为可分析的数据等领域。 图片和视频有大量的信息和细节,如果不能进行自动化分析,很难使用这些信息。这就很适合使用深度学习神经网络。

这两种技术以及它们的变体,如果能应用到最适合的问题上,将发挥更大的潜力;相反,任何技术,如果不能适当的使用,反而会产生问题。

David Young曾在Marketing Analytics工作20余年,现居住在维也纳

如果您喜欢这篇文章,那么你也可能喜欢David Young的书:

  • A SHORT GUIDE TO MARKETING MODEL ALIGNMENT & DESIGN

https://store.bookbaby.com/bookshop/book/index.aspx?bookURL=A-Short-Guide-to-Marketing-Model-Alignment-and-Design

  • 亚马逊链接: https://www.amazon.com/Short-Guide-Marketing-Alignment-Design/dp/1543912591/ref=sr_1_1?ie=UTF8&qid=1510196791&sr=8-1&keywords=a+short+guide+to+marketing+model+alignment+%26+design

参考链接:

https://www.linkedin.com/pulse/logistic-regression-vs-deep-neural-networks-david-young/

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-01-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数学人生

深度学习与强化学习

随着 DeepMind 公司的崛起,深度学习和强化学习已经成为了人工智能领域的热门研究方向。除了众所周知的 AlphaGo 之外,DeepMind 之前已经使用...

91410
来自专栏AI研习社

文本嵌入的经典模型与最新进展

AI 研习社按:这篇文章来自自然语言处理以及机器学习专家、Huggingface 的技术负责人 Thomas Wolf,介绍了文本嵌入的重点知识和最新趋势。 A...

11410
来自专栏智能算法

模拟退火优化算法

一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前,先介绍爬山算法。爬山算法是一种简单的贪心搜索算法,该算法每次从当前解的临近...

38860
来自专栏华章科技

【算法】神经网络和深度学习简介

如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,2015年似乎才是这场海啸全力冲击自然语言处理(NLP)会议的一年。——Dr. Christopher ...

10510
来自专栏AI研习社

用中文传话游戏理解 RNN

循环神经网络(RNN)是人工神经网络中非常流行的一个版本,其可以很好地处理序列数据类型。该数据类型指的是将一组数据点以特定顺序排列,从而使相关的数据点一个挨着一...

12020
来自专栏PPV课数据科学社区

神经网络和深度学习简史(全)

深度学习掀起海啸 如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,2015年似乎才是这场海啸全力冲击自然语言处理(NLP)会议的一年。——Dr. Chr...

431110
来自专栏大数据挖掘DT机器学习

数学之美番外篇:平凡而又神奇的贝叶斯方法

作者:LeftNotEasy 原文:http://blog.csdn.net/mydear_11000/article/details/48731497 概率论...

28040
来自专栏钱塘大数据

【干货】神经网络和深度学习简史

作者:机器之心 深度学习掀起海啸 如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,2015年似乎才是这场海啸全力冲击自然语言处理(NLP)会议的一年。—...

43160
来自专栏AI科技评论

业界 | 谷歌研究院在化学发力:应用机器学习技术预测分子性质

最近,机器学习在化学领域的应用有很大进展,特别是化学搜索问题,从药物筛选、电池设计到OLEDs设计,催化剂的发现。 历史上化学家使用薛定谔方程做数值近似来解决化...

41290
来自专栏华章科技

数学之美番外篇:平凡而又神奇的贝叶斯方法

这是一篇关于贝叶斯方法的科普文,我会尽量少用公式,多用平白的语言叙述,多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方法被证明是非常 ge...

16720

扫码关注云+社区

领取腾讯云代金券