深度
1.1 为什么加深可以提升性能
Bengio和LeCun说过大多说函数如果用一个深层结构刚刚好解决问题,那么就不可能有一个更浅的同样紧凑的结构来解决。...一定深度是有必要的.
1.1.1 更好拟合特征
现在的深度学习网络结构基本模块是卷积,池化,激活,这是一个标准的非线性变换模块....如果只有一层, 那么学习到的复杂程度就很小了.
网络加深带来的两个主要的好处, 更强大的表达能力和逐层的特征学习。...我们直到一个模型越深越好, 但是怎么用一个指标直接定量衡量模型的能力和深度之间的关系, 就有了直接和间接法两种方案。...总结
深度学习的名字带着”深”, 可见深度对模型的重要性.
深度学习成功在于深, 但是宽度也很重要, 甚至不亚于深度, 在计算量上的影响甚至比深度更加重要.