深度学习系列笔记(一)
深度学习系列笔记(一)
目录
相关概念
《Deep Learning》给出的==AI深度学习==概念：
- 让计算机==从经验中学习==---->可以避免由人类给计算机形式化地指定它需要的所有知识
- 根据==层次化的概念体系==来理解世界---->让计算机构建简单的概念来学习复杂的概念
- 每个概念则通过与某些相对简单的概念之间的关系来定义
具体来说，深度学习是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。
表示学习(representation learning)：使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。 表示学习算法只需几分钟就可以为简单的任务发现一个很好的特征集，对于复杂的任务则需要几小时到几个月。 由于存在变差因素，从原始数据提取出高层次、抽象的特征是非常困难的，而深度学习通过其他较简单的表示来表达复杂的表示，解决了表示学习中的核心问题。
深度学习的典型例子是前馈深度网络或多层感知机(Multilayer Perceptron, MLP)。多层感知机仅仅是一个将一组输入值映射到输出值的数学函数。该函数由较多简单的函数复合而成。我们可以认为不同数学函数的每一次应用都为输入提供了新的表示。
度量模型深度的两种方式
基于评估架构所需执行的顺序指令的数目
假设我们将模型表示为给点输入后计算对应输出的流程图，则可以将这张流程图中的最长路径视为模型的深度。这种评估方式由于语言的选择，可能会导致同一模型深度不一致。
深度概率模型中的方法
将描述概念彼此如何关联的图的深度视为模型深度。在这种情况下，计算每个概念表示的计算流程图的深度可能会比概念本身的图的深度更深。因为系统对较简单的概念的理解在给出更复杂概念信息后可以进一步细化。
架构深度不存在单一的正确值，也不存在模型多深才能被修饰为"深"的共识。
深度学习的应用领域
计算机视觉、语音和音频处理、自然语言处理、机器人技术、生物信息学和化学、电子游戏、搜索引擎、网络广告和金融
深度学习的基本背景
一般认为，迄今为止深度学习已经已经历了三次历史浪潮：
- 20世纪40年代到60年代，深度学习的雏形出现在控制论(cyberneticcs)中
- 20世纪80年代到90年代，深度学习表现为联结主义(connectionism)
- 直到2006年，才真正以深度学习之名复兴
现代术语“深度学习”超越了目前机器学习模型的神经科学观点。它诉诸于学习多层次组合这一更普遍的原理。
线性模型有很多局限性，最著名的是，它们无法学习异或(XOR)函数。
新认知机受哺乳动物视觉系统的结构启发，引入了一个处理图片的强大模型架构，它后来成为现代卷积网络的基础。
联结主义的中心思想是，当网络将大量简单的计算单元连接在一起时可以实现智能行为。
分布式表示(distributed representation)的思想是：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。
监督深度学习算法在每类给定约5000个标注样本情况下一般将达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类的表现。
参考文献： 《深度学习》
腾讯云开发者
