深度学习相关精选422

这一年，机器学习领域该关注什么？

这部分以看到的两个 Quora 回答，最近读的一些东西来进行讨论。

What Are The Most Promising Areas Of Machine Learning Research Right Now?

来自 Y Combinator 和 OpenAI 的 Sam Altman 回答：

I think one of the most promising directions right now in ML research is figuring out how to scale up ideas that are already working.

让已证明有效的方法扩大规模，能利用更多的计算资源。就比如之前提出 Transformer，然后 BERT 和 GPT 训练了一个更大的模型，BERT 还好说，而 GPT 真的只是 scale up，但却很有效。

Sam 在其他段也提到，扩大算法规模比他之前想的要有效多。

What Are The Biggest Machine Learning Trends Of 2019?

来自 DoorDash 的 Raghav Ramesh 回答：

The most notable trend right now in machine learning is the rapid growth in machine learning developer tooling and how that changes the process of building, deploying and managing machine learning.

机器学习开发工具的快速发展。一边是类似 AutoML 这样的，让算法自动找出更好的参数和架构；一边是能够拿来既用，将底层模型符号化的工具，让更多人能够直接调用现成模型。

讨论

上述回答，符合两个趋势，一个是 Sutton 在 The Bitter Lesson (引用) 里面提到的，我们应关注能够利用更大计算资源更通用的方法。

还有一个就是，在 The Coming AI Autumn 里说的，这一波的大浪已经过去了，已积累了大量成果，我们应该进入一个 AI Autumn，AI 的秋天，收割之前所积累下来的成果。所以现在更该关注，如何让人们能够更便于利用这些现有的模型与技术。

而针对上面两个，有两个大的方向，一个就是元学习和强化学习相关，还有一个是人机交互，感兴趣的可以关注一下。

链接：

https://www.forbes.com/sites/quora/2019/04/11/what-are-the-most-promising-areas-of-machine-learning-research-right-now/#5e4306651b03

https://www.forbes.com/sites/quora/2019/04/16/what-are-the-biggest-machine-learning-trends-of-2019/

The Coming AI Autumn ：http://jeffreybigham.com/blog/2019/the-coming-ai-autumnn.html

Advanced Machine Learning Day 3: Neural Architecture Search（神经架构搜索介绍）

基于第一条的判断，开始关注元学习和AutoML相关而看的。

微软关于神经架构搜索（NAS）的课，讲得还是很清楚明了的，虽然很多地方没深入但大概发展和脉络都讲清楚了，还提供了一些特别棒的资源。

先简单的介绍了一下什么是Markov Chain，然后HMM，MDP，POMDP，以及这些与强化学习关系，最后还介绍一点强化学习。

之所以介绍强化学习是因为 NAS 最早的一些尝试都是从强化学习开始的，其中就包括了早期的 NAS 和 ENAS，然后介绍用到 evolution 策略的 PNAS，还有最近的 DARTS，这两个都有尝试摆脱最初的强化学习结构。

链接：https://www.microsoft.com/en-us/research/video/advanced-machine-learning-day-3-neural-architecture-search/

很好的综述：Neural Architecture Search: A Survey， https://arxiv.org/abs/1808.05377

以及AutoML超棒的一个网站：https://www.automl.org/

Humans store about 1.5 megabytes of information during language acquisition （人类学习语言所需信息，一张软盘就够啦！）

关于认知心理学的论文，ruder 大神推荐的。

利用各种方法，采取类似费米估算法的思想，将人类在语言获得中所需要用到的信息量估计出来，大概是 1.5 MB。

费米估算法：命名自恩里科·费米，对于只给定有限的已知信息，而似乎是算不出来的量，作出合理的猜测

而 1.5 MB相当于多大呢，可能比较早接触计算机知道软盘存在的人会知道，一张标准的3.5寸的软盘就1.44MB，可能一张好一点的图片都放不下，而这样一张软盘就大概能装下你学语言所需的信息。

具体方法是利用一定的估算法，从语言的各个层次音素、词型、语义，语法等等来进行估计，之后在算总的。详细方法可以看论文。

其实这里值得注意的是，以此反观深度学习现有模型，别说 1.5 MB，随便拉出个都比这大。而现在 NLP 模型的趋势却是越来越大，BERT-Large 是3亿四千万个参数，而GPT2.0更是有15个亿参数，两者保存模型都是GB为单位的。所以从这里面可以看出之间差距，以及我们还需要走很长一段路。

Are Deep Neural Networks Dramatically Overfitted? （深度网络严重过拟合吗）

关于神经网络理论研究，特别是泛化性和复杂度相关，很赞的一篇博客。

前面两小节介绍了一些传统的理论，模型压缩与模型选择等等。比较有意思的最后一部分，也就是和标题同名的小节，主要是介绍了最近的一些深度神经网络的研究。一一简单介绍。

深度学习的当代风险曲线

上过吴恩达课，或者其他一些经典机器学习课的，可能对下面这张图一点都不陌生。

关于机器学习中 variance 与 bias，过拟合与欠拟合，训练误差与训练误差等等等，这张图简直无处不在。

但对于深度学习，这个曲线好像还不够，当我们再往远看就会发现原来前面还有一些不同风景。

可能在到了过去所谓的过拟合点之后，如果继续增大模型或者复杂度，就会发现测试误差又会继续下降，真的是很有趣的发现。这可能也一定程度上解释了现在的大模型。

关于造成这个现象的，作者们认为或许是因为两个原因：

• 对于归纳偏好（inductive bias），可能参数量并不是一个好的估计指标；
• 更大的模型可以发现更大的函数类，可以进一步找到有着更小norm的插值函数，某种意义上模型“更简单”了

泛化的关键不在正则化

通常我们训练模型的过程都是，先 bigger and bigger，当发现貌似有过拟合趋势的时候，开始加正则化，比如说 L2 正则，dropout等等，来增加模型泛化性。

一些研究表明显性的正则化，貌似并没有降低泛化误差。正则项可能并不是泛化的根本原因。

固有维度（模型复杂度度量新标准）

和前面提到一样，深度学习领域，模型参数多少不一定和模型过拟合有关。

于是研究人员就提出一个新的模型复杂度的度量方法，固有维度（Intrinsic Dimension）。

大概过程就是通过一定方程从全部参数维度 D 中随机采样 d，然后通过这些 d 来更新 D，通过从1开始搜索，找出最适合的 d，可以有效更新 D。于是就称这个 d 为模型固有维度。

通过这个度量方法就能发现一些模型通过固有维度表示的复杂度，可能远远没有其模型参数所表示的高。也就是这些模型的复杂度比想象的小。

层层生而平等吗

答案就似现实社会一般，看似平等，实则不平等。

神经网络中会有“关键层”，对整个模型的表现至关重要，而这些关键层的数量似乎有局限。论文最后给出结论：

看似巨大的深度学习网络，可能只有比较低的复杂度，因为它关键层数量的自我限制特性。

A 2019 guide to Human Pose Estimation with Deep Learning (深度人类姿态估计——2019指南)

关于深度学习在人类姿态估计方面应用的介绍，大概会做成多期，这篇主要介绍了什么是人类姿态识别，还有过去是怎么做的，现在深度学习是怎么做的。

这篇主要说 2D 的，之后应该会提到 3D 的，感兴趣的可以关注 follow 一下。相信这会是应用领域比较重要的一块。

链接：https://blog.nanonets.com/human-pose-estimation-2d-guide/

good resource for data scientists to learn Linux/shell scripting（数据科学家应该了解的Linux和shell命令）

相信每一个刚刚走上实习岗位，或刚刚入职，而之前又没太接触 linux 的童鞋都会遇上的问题。

“这个黑框框特么到底怎么玩？！”

但在经过长时间挣扎，无数次打扰前辈，无数次搜索，无数次使用与遗忘。终于有一天，突然发现原来黑框框还是很可爱的，开始满脸微笑看着在入门挣扎，仿佛当年自己的新人们。

每次有人问我，我就会强烈安利 TLCL (The Linux Command Line) 这本书，因为自己就是靠刷了几遍慢慢掌握的。但对于数据科学或机器学习，其实上面很多也用不上，现在我也是忘得一干二净，而自己整理一份，又太懒，都还放在 google doc 里面，密密麻麻只能自己看懂。

所以能看到有人整理一份，真的太赞了，reddit 上点赞已经超过400多了，有一个 cheat sheet 和配套视频，但是没有文字版，预计会整理一份。

cheat sheet 链接：https://www.dropbox.com/s/k7athu9i8lmmeln/Linux%20Cheat%20Sheet%20David%20Relyea.pdf

视频链接：https://www.youtube.com/playlist?list=PLdfA2CrAqQ5kB8iSbm5FB1ADVdBeOzVqZ

文中提到 TLCL 中文版：http://billie66.github.io/TLCL/index.html

Advanced NLP with Spacy （Spacy 自然语言处理进阶教程）

关于 Spacy 的入门教程，体验做得非常棒，我也正在学习，强烈推荐。

链接：https://course.spacy.io/

OKAI - An Interactive Introduction to Artificial Intelligence （交互式图解人工智能）

这个也是特别棒的教程资源，交互式介绍 AI，最赞的是有中文版。

推荐给对 AI 感兴趣，但是看不懂这条以上我都在胡说八道什么，以及刚入门的小伙伴。

哪些工作最可能被取代掉，可视化

可视化做得挺棒的一张图，不貌似数据不可靠，所以大家看看就可以了。