小小挖掘机-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

小小挖掘机

专栏成员

516

文章

918749

阅读量

237

订阅数

Batch Normalization的诅咒

批量计算深度学习神经网络机器学习人工智能

Batch Normalization确实是深度学习领域的重大突破之一，也是近年来研究人员讨论的热点之一。Batch Normalization是一种被广泛采用的技术，使训练更加快速和稳定，已成为最有影响力的方法之一。然而，尽管它具有多种功能，但仍有一些地方阻碍了该方法的发展，正如我们将在本文中讨论的那样，这表明做归一化的方法仍有改进的余地。

2020-11-09

8590

深度学习两大基础Tricks：Dropout和BN详解

批量计算深度学习神经网络

dropout作为目前神经网络训练的一项必备技术，自从被Hinton提出以来，几乎是进行深度学习训练时的标配。就像做菜时必须加料酒一样，无论何时，大家在使用全连接层的时候都会习惯性的在后面加上一个dropout层。通常情况下，dropout被作为一种防止神经网络过拟合的正则化方法，对神经网络的泛化性能有很大的帮助。每个人都会用dropout，但你真的理解它吗？本节我们就来看看dropout里的一些关键细节问题。

2020-11-09

5.5K0

Muti-Similarity Loss：考虑了batch中整体距离分布的对比损失函数

批量计算其他

这是对比损失函数的一种变体，不再是使用绝对距离，还要考虑batch中其他样本对的整体距离分布来对损失进行加权，大家可以试试。

2020-10-09

1.8K0

提高GPU训练利用率的Tricks

批量计算 api

首先，如果你现在已经很熟悉tf.data+estimator了，可以把文章x掉了╮(￣▽￣””)╭

2020-02-25

3.8K0

RS Meet DL(72)-[谷歌]采样修正的双塔模型

本文介绍的论文题目是：《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》论文下载地址是：h

2019-12-19

3.5K0

调试神经网络的checklist，切实可行的步骤

机器学习深度学习人工智能批量计算神经网络

这篇文章提供了可以采取的切实可行的步骤来识别和修复机器学习模型的训练、泛化和优化问题。

2019-10-31

5680

十九种损失函数，你能认识几个？

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

2019-08-28

9080

DQN三大改进(二)-Prioritised replay

https 网络安全批量计算 github git

Prioritised replay原文：https://arxiv.org/pdf/1511.05952.pdf 代码地址：https://github.com/princewen/tensorflow_practice/tree/master/Prioritized_Replay_DQN_demo 如果大家觉得代码排版较乱，可以参考原文：https://www.jianshu.com/p/db14fdc67d2c 1、背景这篇文章我们会默认大家已经了解了DQN的相关知识，如果大家对于DQN还不是很了解

2018-04-11

2.8K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态