2018年AI和ML技术概述和2019年趋势

介绍：

过去几年一直是人工智能爱好者和机器学习专业人士的梦想。这些技术已经从一个小众市场发展成为主流，并且影响着上亿人的生活。各国现在都有专门的人工智能部门和预算，以确保他们在这场竞赛中发挥作用。

对于数据科学专业人士来说也是如此。几年前，如果你知道一些工具和技术，你会觉得你可以走在技术的前端。不了!在这个领域发生了太多的事情，要跟上它的步伐，有时会让人感到难以置信。

人工智能领域发展了什么？突破是什么？2018年发生了什么，2019年会发生什么？阅读这篇文章了解！

PS:正如任何预测一样，以下是我的看法，可能会有很多错误，欢迎大家在留言处和我一起讨论学习，一起进步！

我从以下领域介绍人工智能发展趋势：

1、自然语言处理（NLP）

2、计算机视觉（CV）

3、一些工具和算法库

4、强化学习 （RL）

5、人工智能朝着道德人工智能的方向发展

在本文中，我将首先介绍自然语言处理的相关技术。

自然语言处理（NLP）

让机器解析单词和句子一直就像做梦一样。语言中有太多的细微差别和方面，即使是人类有时也难以掌握。但2018年确实是NLP的分水岭。

我们看到了一个又一个非凡的突破——ULMFiT、ELMO、OpenAI的Transformer和谷歌的BERT等等。成功地将迁移学习(能够将预先训练的模型应用于数据的艺术)应用于NLP任务，为潜在的无限应用打开了大门。让我们更详细地看看这些关键的发展。

ULMFiT

由Sebastian Ruder和fast.ai的Jeremy Howard设计的ULMFiT是今年第一个利用NLP迁移学习的框架。关于ULMFiT以及我们将很快看到的后续框架，最好的部分是什么?你不需要从头开始训练模型!这些研究人员已经为你做了艰苦的工作，把他们的知识应用到你自己的项目中。在六个文本分类任务中，ULMFiT的表现优于最先进的方法。

如果你对ULMFiT感兴趣，可以阅读Prateek Joshi撰写的关于如何开始使用ULMFiT解决任何文本分类问题的优秀教程。

链接地址为：https://www.analyticsvidhya.com/blog/2018/11/tutorial-text-classification-ulmfit-fastai-library/

ELMo

想猜猜ELMo代表什么吗?它是语言模型嵌入的缩写。很有创造力,不是吗?ELMo一发布就吸引了ML社区的注意。ELMo使用语言模型来获取每个单词的嵌入，同时还考虑该单词在句子或段落中的上下文。语境是NLP的一个非常重要的方面，大多数人以前都没有掌握。ELMo使用双向LSTMs创建嵌入。和ULMFiT一样，ELMo显著提高了各种NLP任务的性能，比如情绪分析和问题回答。不愧是在NAACL中获得了Best paper。

论文地址：https://aclweb.org/anthology/N18-1202

如果您对它感兴趣，可以参考以下代码：

（1）https://allennlp.org/elmo

（2）https://blog.csdn.net/jeryjeryjery/article/details/80839291?utm_source=blogxgwz0

Google’s BERT

不少专家认为，BERT的发布标志着NLP进入了一个新的时代。继ULMFiT和ELMo之后，BERT的表现真的在竞争中脱颖而出。正如最初的论文所述，BERT在概念上简单，在经验上强大。简单的说，它是Transformers的双向编码器表示。

论文地址：https://arxiv.org/abs/1810.04805

BERT在11项NLP任务中获得了最先进的结果，看看他们在SQuAD上的成绩

如果想使用它做NLP任务，你可以使用PyTorch实现或谷歌的TensorFlow代码在自己的机器上尝试和复现结果。

PyTorch版本的github：https://github.com/huggingface/pytorch-pretrained-BERT

Tensorflow版本的github:https://github.com/google-research/bert

另外，有位大神也做了一个BERT封装版本，几行代码就可以得到你想的语境词向量：

Github地址：https://github.com/hanxiao/bert-as-service

Facebook的PyText

Google 公开了这么强大的工具，Facebook怎么能置身一外呢?他们已经开源了自己的深度学习NLP框架PyText。它是近几周早些时候发布的，但早期的评论是非常有希望的。根据FB发表的研究，PyText使得会话模型的准确性提高了10%，并且减少了训练时间。

实际上，PyText是Facebook自己的一些产品的幕后推手，比如FB Messenger。因此，从事这方面的工作为您自己的投资组合增加了一些实际的价值(除了您显然将获得的宝贵知识之外)。

Github地址：https://github.com/facebookresearch/pytext

谷歌的Duplex

因为这是一个谷歌产品，所以他们将其背后的代码开源的可能性很小。但哇!这是一个非常棒的音频处理应用程序。当然，这会引发许多道德和隐私问题，但这是本文后面的讨论。现在，只要陶醉于ML近年来取得的进步就可以了。

NLP在2019年的发展方向：

这里引用一下Sebastian Ruder大佬的话，他提供了NLP在2019年的发展方向：

（1）经过预先训练的语言模型嵌入将变得无处不在;很少有最先进的模型不使用它们。

（2）我们将看到可以对特定信息进行编码的预先训练的表示，这是对语言模型嵌入的补充。我们将能够根据任务的需求组合不同类型的预训练表示。