【机器学习课程】深度学习与神经网络系列之绪论介绍

神经网络与深度学习

让机器具备智能是人们长期追求的目标,但是关于智能的定义也十分模糊。Alan Turing在 1950年提出了著名的图灵测试:“一个人在不接触对方的情况下,通过一种特殊的方式,和对方进行一系列的问答。如果在相当长时间内,他无法根据这些问题判断对方是人还是计算机,那么就可以认为这个计算机是智能的”。

要通过真正地通过图灵测试,计算机必须具备理解语言、学习、记忆、推理、决策等能力。这也延伸出很多不同的学科,比如机器感知(计算机视觉、自然语言处理),学习(模式识别、机器学习、增强学习),记忆(知识表示)、决策(规划、数据挖掘)等。所有这些分支学科都可以看成是人工智能( Artificial Intelligence, AI)的研究范畴。其中, 机器学习( Machine Learning, ML)因其在很多领域的出色表现逐渐成为热门学科。机器学习的主要目的是设计和分析一些学习算法,让计算机从数据中获得一些决策函数,从而可以帮助人们解决一些特定任务,提高效率。对于人工智能来说,机器学习从一开始就是一个重要的研究方向,并涉及了概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。

人工神经网络( Artificial Neural Network, ANN),也简称神经网络,是众多机器学习算法中比较接近生物神经网络特性的数学模型。人工神经网络通过模拟生物神经网络(大脑)的结构和功能,由大量的节点(或称“神经元”,或“单元”)和之间相互联接构成,可以用来对数据之间的复杂关系进行建模。

Rosenblatt [1958]最早提出可以模拟人类感知能力的数学模型,并称之为感知器 ( Perceptron),并提出了一种接近于人类学习过程(迭代、试错)的学习算法。但感知器因其结构过于简单,不能解决简单的异或( XOR)等线性不可分问题,造成了人工神经领域发展的长年停滞及低潮。直到1980年以后, Geoffrey Hinton、 Yann LeCun等人将反向传播算法( Backpropagation, BP)引入到多层感知器[Williams and Hinton, 1986],人工神经网络才又重新引起人们的注意,并开始成为新的研究热点。但是, 2000年以后,因为当时计算机的计算能力不足以支持训练大规模的神经网络,并且随着支持向量机( Support Vector Machines, SVM)等方法的兴起,人工神经网络又一次陷入低潮。

直到2006年, Hinton and Salakhutdinov [2006]发现多层前馈神经网络可以先通过逐层预训练,再用反向传播算法进行精调的方式进行有效学习。并且近年来计算机计算能力的提高(大规模并行计算, GPU),计算机已经可以训练大规模的人工神经网络。随着深度的人工神经网络在语音识别[Hinton et al., 2012]和图像分类[Krizhevsky et al., 2012]等任务上的巨大成功,越来越多的人开始关注这一个“崭新”的研究领域:深度学习。目前,深度学习技术在学术界和工业界取得了广泛的成功,并逐渐受到了高度重视。

深度学习( Deep Learning, DL)是从机器学习中的人工神经网络发展出来的新领域。早期所谓的“深度”是指超过一层的神经网络。但随着深度学习的快速发展,其内涵已经超出了传统的多层神经网络,甚至机器学习的范畴,逐渐朝着人工智能的方向快速发展。本书主要介绍人工神经网络与深度学习中的基础知识、主要模型(卷积神经网络、递归神经网络等)以及在计算机视觉、自然语言处理等领域的应用。

在今后的推文中,主要介绍人工神经网络与深度学习中的基础知识、主要模型(卷积神经网络、递归神经网络等)以及在计算机视觉、自然语言处理等领域的应用。

若希望全面了解人工神经网络和深度学习的知识,可以参考如下材料: 1. Ian Goodfellow, Aaron Courville, and Yoshua Bengio. Deep learning. Book in

preparation for MIT Press, 2015.

2. Yoshua Bengio. Learning deep architectures for AI. Foundations and trends⃝ R in Machine Learning, 2(1):1–127, 2009

3.网站教程,比如http://deeplearning.net/。

原文发布于微信公众号 - 量化投资与机器学习(ZXL_LHTZ_JQXX)

原文发表时间:2016-03-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

擂台:灵异视频辨真伪

288150
来自专栏Pytorch实践

机器是如何做阅读理解的?

机器阅读理解 斯坦福有个很重要的比赛,就是让机器完成阅读理解题目,即给定一篇文章,让机器理解文章含义进行题目回复。每年这一比赛都是国际性的,引来了业界、学术界的...

50870
来自专栏机器之心

学界 | 超越Softmax瓶颈:一种高秩RNN语言模型

33350
来自专栏ATYUN订阅号

剑桥大学开发AI模型,结合视觉与语义信息,研究大脑识别过程

剑桥大学的神经科学研究人员将计算机视觉与语义相结合,开发出一种新模型,有助于更好地理解大脑中物体的处理方式。

11910
来自专栏机器学习AI算法工程

机器学习知识体系

随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Libratus在长达20天的鏖战中,打败4名世界顶级德州扑克玩家,这标志...

448110
来自专栏新智元

DeepMind视频行为分类竞赛,百度IDL获第一,新算法披露

【新智元导读】ActivityNet竞赛是目前视频动作分析领域影响力最大的赛事。上月,2017年竞赛组织者通过官网宣布了本届比赛的成绩。其中,来自百度深度学习实...

67760
来自专栏IT派

机器学习入门知识体系

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Lib...

51160
来自专栏智能算法

鸟群的启发--粒子群算法

看文章之前先看一个相关小视频(55s, 2.86M): ? 1. PSO的基本思想: “自然界的蚁群、鸟群、鱼群、羊群、牛群、蜂群等,其实时时刻刻都在给予我们...

41780
来自专栏数据科学与人工智能

tensorflow高质量资料汇总

tensorflow高质量资料,让您又快又好地学习和应用tensorflow。 本文汇总tensorflow的高质量资料,包括:文档、论文、书籍、课程和案例。 ...

36550
来自专栏新智元

【10亿+数据集,ImageNet千倍】深度学习未来,谷歌认数据为王

【新智元导读】数据重要还是算法重要?一篇新的论文或许给出了答案。使用一个 300 倍于 ImageNet 的新数据集,谷歌研究人员发现,随着数据增长,模型完成计...

44140

扫码关注云+社区

领取腾讯云代金券