Petrichor的专栏

600 篇文章
45 人订阅

深度学习

Petrichor_

电源:模组 & 非模组(一个码农眼中的 区别 & 选择)

  给实习公司组装主机时,电源既装过模组的也装过非模组的。当时没太在意它俩的区别,就知道装非模组的时候比较轻松简单。今天CTO提起这个事,我就去查了一下这二者的...

48120
Petrichor_

深度学习: 深度学习框架 横向对比

[1] TensorFlow和Caffe、MXNet、Keras等其他深度学习框架的对比

12420
Petrichor_

深度学习: 回归分析 评价方法

  在回归(Regression)方法中,我们预测一系列连续的值,在预测完后需要评价预测结果的好坏。关于这个评价标准,目前学术界有多种标准。在深度学习中最常见的...

30420
Petrichor_

深度学习: CNN经典网络模型

19860
Petrichor_

深度学习: 论网络深度的利弊

[1] 深层学习为何要“Deep”(上) [2] 深层学习为何要“Deep”(下)

17230
Petrichor_

深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

每次只训练网络中的一层,即我们首先训练一个只含一个隐藏层的网络,仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络,以此类推。

30430
Petrichor_

深度学习: gradient diffusion (梯度弥散)

梯度下降法(以及相关的L-BFGS算法等)在使用随机初始化权重的深度网络上效果不好的技术原因是:梯度会变得非常小。具体而言,当使用反向传播方法计算导数的时候,随...

53350
Petrichor_

深度学习: convolution (卷积)

卷积层是没有“厚度”一说的。如果非要有,那么假设一个卷积层由10个滤波器(假设每个滤波器有16通道)组成,那么该卷积层的“厚度”即为10。和输入输出数据那种只需...

37220
Petrichor_

深度学习: 参数初始化

好的开始是成功的一半。 为了让你的模型跑赢在起跑线 ε=ε=ε=(~ ̄▽ ̄)~ ,请慎重对待参数初始化。

42130
Petrichor_

深度学习: translation invariant (平移不变性)

31730
Petrichor_

深度学习: pooling (池化 / 降采样)

对于网络结构而言,上面的层看下面的层经过pooling后传上来的特征图,就好像在太空上俯瞰地球,看到的只有山脊和雪峰。这即是对特征进行宏观上的进一步抽象。

85020
Petrichor_

深度学习: 从 Selective Search 到 RPN

具体参见我的另一篇博客:Selective Search (选择搜索),简而言之就是,Selective Search 太low太低效。

31540
Petrichor_

深度学习: 从 RoIPooling 到 RoIAlign

对RoI进行pooling的操作最早由SPPNet中的SPP layer提出:

74230
Petrichor_

深度学习: Faster R-CNN 网络

网络结构有两种,一种是将ZFNet(扔掉了尾端的全连接层)拿来用,另一种则是将VGG拿来用(扔掉了尾端的全连接层)。论文中给出的是第一种(绿框内为拿来用的那部分...

1.3K40
Petrichor_

深度学习: GoogleNet 网络

提出了 Inception_v1,开启了伟大的Inception系列,并刷新了网络的深度新记录。

26720
Petrichor_

深度学习: sliding window (滑动窗口)

sliding window (滑动窗口) 在深度学习中得到了极其广泛的运用。从卷积层到池化层,都能看见它的身影。

45730
Petrichor_

深度学习: Nonlinear (非线性)

25520
Petrichor_

深度学习: Full Connection (全连接层)

在 Caffe 中,全连接层 的 type (层类型) 为 Inner Product 。 输出一个简单向量(把输入数据blobs的width和height...

1.3K30
Petrichor_

深度学习: smooth L1 loss 计算

RPN的目标函数是分类和回归损失的和,分类采用 交叉熵,回归采用稳定的 Smooth L1,

51640
Petrichor_

深度学习: RPN (区域候选网络)

Note: two stage型的检测算法在RPN 之后 还会进行 再一次 的 分类任务 和 边框回归任务,以进一步提升检测精度。

1.6K30

扫码关注云+社区

领取腾讯云代金券