Petrichor的专栏

600 篇文章
45 人订阅

神经网络

Petrichor_

深度学习: 论网络深度的利弊

[1] 深层学习为何要“Deep”(上) [2] 深层学习为何要“Deep”(下)

17330
Petrichor_

深度学习: gradient diffusion (梯度弥散)

梯度下降法(以及相关的L-BFGS算法等)在使用随机初始化权重的深度网络上效果不好的技术原因是:梯度会变得非常小。具体而言,当使用反向传播方法计算导数的时候,随...

53850
Petrichor_

思考: 现有 图像分割算法 的缺陷

人们在关注图像中的生命个体(尤其是人)的时候,关注点 往往 只是目标的脸和手脚 。这部分区域虽小,却给观者提供了对目标个体进行联想的绝大部分信息。

23320
Petrichor_

深度学习: 从 Selective Search 到 RPN

具体参见我的另一篇博客:Selective Search (选择搜索),简而言之就是,Selective Search 太low太低效。

31940
Petrichor_

思考: 如何设计 输出结果 具有对称性 的 网络结构

实验室师兄参与了一个强化学习竞赛,让仿生人体学会站立行走乃至跑起来。在比赛的过程中他自己用tensorflow设计出了一个 对称性神经网络 ,能保证输出的 最终...

10330
Petrichor_

思考: 改进 现有的 网络参数初始化 方法

网络参数初始化方法 最粗暴的 莫过于 全零初始化 。顾名思义,所有参数全部初始化为0。想法很好,简便省事儿,还可使得初始化全零时参数的期望与网络稳定时参数的期望...

11520
Petrichor_

思考: 神经网络层 的 功能识别

卷积操作 即为 一系列 滤波操作 之和 。 有关卷积的概念,具体可参加我的这篇文章:深度学习: convolution (卷积) 。

11750
Petrichor_

深度学习: 模型压缩

预训练后的深度神经网络模型往往存在着严重的 过参数化 问题,其中只有约5%的参数子集是真正有用的。为此,对模型进行 时间 和 空间 上的压缩,便谓之曰“模型压缩...

54640

扫码关注云+社区

领取腾讯云代金券