《动手学深度学习》学习笔记

                 本文链接：[https://blog.csdn.net/github\_39655029/article/details/86494676](https://blog.csdn.net/github_39655029/article/details/86494676) 

- 深度学习是指机器学习中的一类函数，能够逐级表示越来越抽象的概念或模式，他们的形式通常为多层神经网络，近年来，已逐渐成为处理图像、文本预料和声音信号等复杂高纬度数据的主要方法，属于机器学习的一类，外在特点是端到端的训练；
- 机器学习研究如何使计算机利用经验提高性能，属于人工智能领域的分支，也是实现人工智能的一种手段；神经网络核心原则

- 交替使用现行和非线性处理单元，常被称为“层”；
- 使用链式法则（即反向传播）来更新网络参数；深度学习发展的原因

- 优秀的容量控制方法，如丢弃法使大型网络的训练不再受制于过拟合（大型神经玩两个学会记忆大部分训练数据的行为）；
- 注意力机制解决了“如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度”问题；
- 记忆网络和神经编码器-解释器这样的多阶设计使针对推理过程的迭代建模方法的实现变成可能；
- 对抗生成网络的发明奖采样部分替换成了任意的含有可微分参数的算法；