首页
学习
活动
专区
工具
TVP
发布

小小挖掘机

专栏成员
516
文章
918749
阅读量
237
订阅数
Batch Normalization的诅咒
Batch Normalization确实是深度学习领域的重大突破之一,也是近年来研究人员讨论的热点之一。Batch Normalization是一种被广泛采用的技术,使训练更加快速和稳定,已成为最有影响力的方法之一。然而,尽管它具有多种功能,但仍有一些地方阻碍了该方法的发展,正如我们将在本文中讨论的那样,这表明做归一化的方法仍有改进的余地。
石晓文
2020-11-09
8590
深度学习两大基础Tricks:Dropout和BN详解
dropout作为目前神经网络训练的一项必备技术,自从被Hinton提出以来,几乎是进行深度学习训练时的标配。就像做菜时必须加料酒一样,无论何时,大家在使用全连接层的时候都会习惯性的在后面加上一个dropout层。通常情况下,dropout被作为一种防止神经网络过拟合的正则化方法,对神经网络的泛化性能有很大的帮助。每个人都会用dropout,但你真的理解它吗?本节我们就来看看dropout里的一些关键细节问题。
石晓文
2020-11-09
5.5K0
Muti-Similarity Loss:考虑了batch中整体距离分布的对比损失函数
这是对比损失函数的一种变体,不再是使用绝对距离,还要考虑batch中其他样本对的整体距离分布来对损失进行加权,大家可以试试。
石晓文
2020-10-09
1.8K0
提高GPU训练利用率的Tricks
首先,如果你现在已经很熟悉tf.data+estimator了,可以把文章x掉了╮( ̄▽ ̄””)╭
石晓文
2020-02-25
3.8K0
RS Meet DL(72)-[谷歌]采样修正的双塔模型
本文介绍的论文题目是:《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》 论文下载地址是:h
石晓文
2019-12-19
3.5K0
调试神经网络的checklist,切实可行的步骤
这篇文章提供了可以采取的切实可行的步骤来识别和修复机器学习模型的训练、泛化和优化问题。
石晓文
2019-10-31
5680
十九种损失函数,你能认识几个?
当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。
石晓文
2019-08-28
9080
DQN三大改进(二)-Prioritised replay
Prioritised replay原文:https://arxiv.org/pdf/1511.05952.pdf 代码地址:https://github.com/princewen/tensorflow_practice/tree/master/Prioritized_Replay_DQN_demo 如果大家觉得代码排版较乱,可以参考原文:https://www.jianshu.com/p/db14fdc67d2c 1、背景 这篇文章我们会默认大家已经了解了DQN的相关知识,如果大家对于DQN还不是很了解
石晓文
2018-04-11
2.8K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档