开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在深度convnet中梯度非常大是正常的吗？

在深度convnet中，梯度非常大是正常的现象。梯度是指损失函数对于模型参数的偏导数，它表示了模型在当前参数取值下的变化方向和速度。在深度convnet中，由于网络层数较多，参数数量庞大，梯度在反向传播过程中会逐层累积，导致梯度值变得非常大。

梯度非常大的现象在深度学习中被称为梯度爆炸（gradient explosion）。梯度爆炸可能导致训练过程不稳定，使得模型无法收敛或收敛速度非常慢。为了解决梯度爆炸问题，可以采用以下方法：

梯度裁剪（gradient clipping）：通过设置梯度阈值，将超过阈值的梯度进行裁剪，限制梯度的大小，防止梯度爆炸。
权重初始化：合适的权重初始化可以减缓梯度爆炸的发生。常用的权重初始化方法包括Xavier初始化和He初始化。
正则化：通过添加正则化项，如L1正则化、L2正则化，可以限制模型参数的大小，减少梯度爆炸的可能性。
学习率调整：合适的学习率可以帮助模型更好地收敛。可以使用学习率衰减策略，如指数衰减、余弦退火等，来调整学习率。
批归一化（batch normalization）：批归一化可以将输入数据进行标准化，有助于缓解梯度爆炸问题。
梯度检查：通过梯度检查，可以验证梯度计算是否正确，及时发现梯度爆炸的问题。

深度convnet中梯度非常大是正常的现象，但过大的梯度可能导致训练不稳定。因此，需要采取相应的方法来处理梯度爆炸问题，以确保模型能够正常训练和收敛。

腾讯云相关产品和产品介绍链接地址：

腾讯云深度学习平台：https://cloud.tencent.com/product/tensorflow
腾讯云AI引擎：https://cloud.tencent.com/product/tia
腾讯云机器学习平台：https://cloud.tencent.com/product/tensorflow
腾讯云GPU云服务器：https://cloud.tencent.com/product/cvm_gpu
腾讯云容器服务：https://cloud.tencent.com/product/tke

相关搜索:在ngrx中有很多动作是正常的吗？在keras(深度学习库)中，定制嵌入层是可能的吗？在协同过滤的梯度下降中，x和theta是同时更新的吗？为什么我在CSS线性梯度()中的deg不能正常工作？在不同的GAMS版本中得到不同的答案是正常的吗？这在Python中是正常使用的吗?/是一个好的实践吗？Java Heap在游戏中增长然后重置是正常的吗？在函数中使用与其函数同名的变量是正常的吗？在android的应用程序购买测试中得到这个错误是正常的吗？在铯中这种黑暗的图像正常吗？DataGrid在WPF中是必需的吗？在纯css中是可能的吗？在神经网络中，批次中的单个梯度是求和还是求平均值？tomcat给出404错误，而我在xml中的映射是正常的在keras中，从一开始就有很高的训练准确率是正常的吗？我们可以在<路由/>中包含正常的react组件吗？访问深度Json对象中的元素，其中键在C#中是动态的在python中关联列表是可能的吗？在powershell "$()“中”美元符号“是可选的吗？视图在Android中是并发渲染的吗？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

你不得不知道的网络架构DenseNet

与 ResNet 和 Pre-Activation ResNet 相比，DenseNet 具有较少的参数和较高的精度。

03

Very Deep Convolutional Networks for Large-Scale Image Recognition—VGG论文翻译—中文版

本文介绍了卷积神经网络在计算机视觉领域的应用，包括图像分类、目标检测、语义分割、姿态估计等任务。同时，本文还介绍了如何使用卷积神经网络对图像中的语义信息进行建模，并针对具体任务设计相应的网络结构和损失函数。最后，本文对卷积神经网络的发展趋势和未来研究方向进行了展望。

00

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(VGG)

在这项工作中，我们研究了卷积网络深度对其在大规模图像识别设置中的准确性的影响。我们的主要贡献是使用一个非常小的(3×3)卷积滤波器的架构对增加深度的网络进行了全面的评估，这表明通过将深度提升到16-19个权重层，可以显著改善先前的配置。这些发现是我们提交的ImageNet挑战赛的基础，我们的团队在定位和分类方面分别获得了第一名和第二名。我们还表明，我们的表现可以很好地推广到其他数据集，在这些数据集上，他们可以获得最先进的结果。我们已经公开了两个性能最好的ConvNet模型，以便进一步研究如何在计算机视觉中使用深度视觉表示。

00

【重磅】Facebook 推出深度学习引擎 DeepText，挑战谷歌智能系统！

【新智元导读】Facebook 昨天推出了基于深度学习的文本理解引擎 DeepText，使用多个深度神经网络构架，结合监督学习与无监督学习，可以从零开始，在词和字符的水平上进行学习。官方称 DeepText 准确率已达到人类水平，该技术有望革新新闻订阅和广告推送模式。将来 DeepText 变得更加智能，再与 Facebook 虚拟助理 M 整合，Facebook 就能更好地连接商家与消费者，在平台上形成一个闭环。当用户的资讯、社交、消费和娱乐等需求都能在 Facebook 得到满足时，还会有人使用谷歌搜索

精华 | 深度学习中的【五大正则化技术】与【七大优化策略】

关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第一【Python】：排名第三【算法】：排名第四源 | 数盟深度学习中，卷积神经网络和循环神经网络等深度模型在各种复杂的任务中表现十分优秀。例如卷积神经网络（CNN）这种由生物启发而诞生的网络，它基于数学的卷积运算而能检测大量的图像特征，因此可用于解决多种图像视觉应用、目标分类和语音识别等问题。但是，深层网络架构的学习要求大量数据，对计算能力的要求很高。神经元和参数之间的大量连接需要通过梯度下降及其变体以迭代的方式不断调整。此外

06

Andrej Karpathy：神经网络是“软件2.0”，而非机器学习的一种工具

【新智元导读】深度学习和计算机视觉专家、特斯拉人工智能部门主管Andrej Karpathy最近提出将神经网络视为Software 2.0，而非“机器学习中的一种工具”，讨论了Software 2.0在机器视觉、语音识别、机器翻译等领域逐渐取代“Software 1.0”的应用，以及它的优势和局限。作者认为，Software 2.0的未来是光明的，因为当我们开发通用人工智能时，肯定会写成Software 2.0。我有时看到人们把神经网络称为“机器学习工具箱中的另一种工具”。神经网络作为一种工具有这样那样的

08

Very Deep Convolutional Networks for Large-Scale Image Recognition—VGG论文翻译—中英文对照

本文介绍了深度学习的背景和意义，并回顾了深度学习的历史。作者详细介绍了深度学习在计算机视觉、自然语言处理、语音识别等领域中的应用，并探讨了深度学习的挑战和未来发展方向。

00

DenseNet共一、CVPR 2017最佳论文得主刘壮博士论文，从另一视角看神经网络架构

来源：机器之心本文约2400字，建议阅读5分钟这篇文章对神经网络架构感兴趣的人有所帮助，特别是那些正在寻找不同角度进行研究的研究者。研究者希望这篇文章对神经网络架构感兴趣的人有所帮助，特别是那些正在寻找不同角度进行研究的研究者。深度学习的基本原理可以追溯到几十年前，20 世纪 80 年代 Geoffrey Hinton 等人提出了基于梯度的反向传播学习算法，而 ConvNets 从早期就被应用于手写数字识别等计算机视觉任务。然而，深度学习的真正威力直到 2012 年才显露出来，那年 AlexNet 赢得

01

人脸识别系列四 | DeepID1算法

这是人脸识别系列的第5篇文章，前4篇文章可以在公众号的人脸识别栏里找到，这篇文章主要是解析CVPR 2014年的经典人脸识别论文DeepID1算法。论文的地址如下：http://mmlab.ie.cuhk.edu.hk/pdf/YiSun_CVPR14.pdf 。

02

一文概览深度学习中的五大正则化方法和七大优化策略

选自arXiv 机器之心编译深度学习中的正则化与优化策略一直是非常重要的部分，它们很大程度上决定了模型的泛化与收敛等性能。本文主要以深度卷积网络为例，探讨了深度学习中的五项正则化与七项优化策略，并重点解释了当前最为流行的 Adam 优化算法。本文主体介绍和简要分析基于南洋理工的概述论文，而 Adam 方法的具体介绍基于 14 年的 Adam 论文。近来在深度学习中，卷积神经网络和循环神经网络等深度模型在各种复杂的任务中表现十分优秀。例如卷积神经网络（CNN）这种由生物启发而诞生的网络，它基于数学的卷积运

09

计算机视觉识别简史：从 AlexNet、ResNet 到 Mask RCNN

【新智元导读】 Medium 用户 Đặng Hà Thế Hiển 制作了一张信息图示，用专业、简洁并且最有吸引力的方式——信息图示，讲述计算机视觉（CV）物体识别的现代史。不仅总结了CV 6 大关键技术和目标识别的重要概念，整个信息图示从 2012年 AlexNet 赢得了 ILSVRC（ImageNet大规模视觉识别挑战赛）说起，总结了至今关键的 13 大模型及其概念，比如 VGGNet、ResNet、Inception 到最近的 Mask RCNN。作者特别强调，所有参考文献都精挑细选，以便读者能够

09

【一图看懂】计算机视觉识别简史：从 AlexNet、ResNet 到 Mask RCNN

原文：medium 来源：新智元作者：Đặng Hà Thế Hiển 编译：新智元编辑部本文长度为5000字，建议阅读8分钟本文通过一张信息图示，讲述计算机视觉（CV）物体识别的现代史，总结CV 6 大关键技术和目标识别的重要概念。［导读］Medium 用户 Đặng Hà Thế Hiển 制作了一张信息图示，用专业、简洁并且最有吸引力的方式——信息图示，讲述计算机视觉（CV）物体识别的现代史。不仅总结了CV 6 大关键技术和目标识别的重要概念，整个信息图示从 2012年 AlexNet 赢

07

【CVPR演讲】LeCun 谈深度学习技术局限及发展（157PPT）

【新智元导读】Facebook AI 实验室负责人Yann LeCun 在 CVPR2015 演讲，提到了深度学习在计算机视觉领域的应用及局限，比如缺乏理论、缺少论证、缺乏无监督学习，当然也提到了基于

07

DenseNet共一、CVPR 2017最佳论文得主刘壮博士论文，从另一视角看神经网络架构

机器之心报道编辑：陈萍、杜伟研究者希望这篇文章对神经网络架构感兴趣的人有所帮助，特别是那些正在寻找不同角度进行研究的研究者。深度学习的基本原理可以追溯到几十年前，20 世纪 80 年代 Geoffrey Hinton 等人提出了基于梯度的反向传播学习算法，而 ConvNets 从早期就被应用于手写数字识别等计算机视觉任务。然而，深度学习的真正威力直到 2012 年才显露出来，那年 AlexNet 赢得了 ImageNet 大规模图像分类挑战赛。之后数据可用性的提高、计算技术的进步和算法的改进使得深度

01

CVPR 提前看：视觉常识的最新研究进展

1、What it Thinks is Important is Important: Robustness Transfers through Input Gradients

01

各种编程语言的深度学习库整理

‍Python 1. Theano是一个python类库，用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法变得简单。在它基础之上还搭建了许多类库。　　1.Keras是一个简洁、高度模块化的神经网络库，它的设计参考了Torch，用Python语言编写，支持调用GPU和CPU优化后的Theano运算。　　2.Pylearn2是一个集成大量深度学习常见模型和训练算法的库，如随机梯度下降等。它的功能库都是基于Theano之上。　　3.Lasagne是一个搭建和训练神经网络

08

谷歌新技术：神经优化器搜索，自动找到可解释的优化方法

AiTechYun 编辑：yuxiangyu 如今，深度学习模型已经部署在众多谷歌产品中，如搜索、翻译和照片等。而在训练深度学习模型时，优化方法的选择至关重要。例如，随机梯度下降在大多情况下都很有效，但更先进的优化器可能会更快，特别是在训练非常“深”的网络时。然而，由于优化问题的非凸性，为神经网络提供新的优化器十分具有挑战性。在Google Brain团队中，我们想看看是否可能用类似于AutoML如何用于发现新的有竞争力的神经网络架构的方法，自动化发现新的优化器的过程。在论文“ Neural Optimi

07

【重磅】Facebook AI 负责人：深度学习技术趋势报告（150 PPT 全文翻译及下载）

Yann LeCun 是卷积神经网络的发明人，Facebook 人工智能研究院的负责人。下文的 150 张 PPT，是 LeCun 对深度学习领域的全面而细致的思考。LeCun 非常坚定看好无监督学习，认为无监督学习是能够提供足够信息去训练数以十亿计的神经网络的唯一学习形式。但 LeCun 也认为，这要做好非常难，毕竟世界是不可理解的。我们来看看 LeCun 在这 150 张 PPT 中，究竟给我们带来什么样的惊喜。 Yann LeCun：150 PPT 全文如需下载全文，请在新智元订阅号回复 03

07

【重磅】Facebook AI 负责人：深度学习技术趋势报告(150 PPT下载)

摘自新智元（Al-era） Yann LeCun 是卷积神经网络的发明人，Facebook 人工智能研究院的负责人。下文的 150 张 PPT，是 LeCun 对深度学习领域的全面而细致的思考。L

06

一文读懂卷积神经网络

大数据文摘转载自数据派THU 作者：陈之炎本文让你读懂卷积神经网络。 2022年有专家曾经预测：在视觉领域，卷积神经网络(CNN)会和Transformer平分秋色。随着Vision Transformers (ViT)成像基准SOTA模型的发布， ConvNets的黎明业已到来，这还不算：Meta和加州大学伯克利分校的研究认为， ConvNets模型的性能优越于ViTs。在视觉建模中，虽然Transformer很快取代了递归神经网络，但是对于那些小规模的ML用例， ConvNet的使用量会出现陡降。而

03

【NeurIPS】四篇好文简读-专题5

Directional Message Passing on Molecular Graphs via Synthetic Coordinates 论文摘要：

02

CVPR论文 | 电游这样玩，还能发明自动驾驶AI新范式

视觉一直是人类最主要的信息来源，研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶汽车时，这一比例甚至高达90%。对于想要代替人类司机的自动驾驶技术来说，也是同样。视觉对人类来说是天生的，可是要达到人类等级的视觉能力，计算机智能必须克服许多重大挑战，其中之一便是对图像的深入理解，包括在障碍监测和道路监测等任务中。现在，自动驾驶技术已成为最火热的领域之一，竞争者包括谷歌等AI技术巨头、汽车制造商以及硬件技术领军人物。今年6月，芯片巨头英特尔收购了机器视觉公司 Itseez，并由此进军自动驾驶市场。昨

07

Keras实现风格迁移

风格迁移算法经历多次定义和更新，现在应用在许多智能手机APP上。风格迁移在保留目标图片内容的基础上，将图片风格引用在目标图片上。

04

计算机视觉这一年：2017 CV技术报告Plus之卷积架构、数据集与新趋势

07

计算机视觉这一年：2017 CV技术报告Plus之卷积架构、数据集与新趋势

选自The M tank 机器之心编译本文是 the M Tank 计算机视觉报告《A Year in Computer Vision》的第四部分（之前部分参见：计算机视觉这一年：这是最全的一份 CV 技术报告）。本节将会介绍卷积神经网络架构、数据集和其他软硬件研究在 2017 年的最新进展，同时对于计算机视觉领域未来的发展做出展望。本文对于开发者和研究人员来说是不可多得的详细材料。 ConvNet 架构近期，ConvNet 架构在计算机视觉之外也有很多新的应用。但是，它们的架构在速度

06

PyTorch专栏（五）：迁移学习

实际中，基本没有人会从零开始（随机初始化）训练一个完整的卷积网络，因为相对于网络，很难得到一个足够大的数据集[网络很深, 需要足够大数据集]。通常的做法是在一个很大的数据集上进行预训练得到卷积网络ConvNet, 然后将这个ConvNet的参数作为目标任务的初始化参数或者固定这些参数。

04

塔荐 | 计算机视觉这一年：2017 CV技术报告Plus之卷积架构、数据集与新趋势

前言本文是 the M Tank 计算机视觉报告《A Year in Computer Vision》的第四部分（之前部分参见：计算机视觉这一年：这是最全的一份 CV 技术报告）。本节将会介绍卷积神经网络架构、数据集和其他软硬件研究在 2017 年的最新进展，同时对于计算机视觉领域未来的发展做出展望。本文对于开发者和研究人员来说是不可多得的详细材料。 ConvNet 架构近期，ConvNet 架构在计算机视觉之外也有很多新的应用。但是，它们的架构在速度、准确率和任务训练方面都有进步，仍然主导着计算机视

09

CNN神经网络的直观解释

卷积神经网络（ConvNets 或者 CNNs）属于神经网络的范畴，已经在诸如图像识别和分类的领域证明了其高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号，从而为机器人和自动驾驶汽车提供视力。

02

各种编程语言的深度学习库整理

来自：CSDN.NET 链接：http://www.csdn.net/article/2015-09-15/2825714（点击尾部阅读原文前往，文章中相关链接请点击阅读原文查看）原文：http://www.teglor.com/b/deep-learning-libraries-language-cm569/ 译者简介：赵屹华，计算广告工程师@搜狗，前生物医学工程师，关注推荐算法、机器学习领域。本文总结了Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、

05

机器学习简史

深度学习已经得到了人工智能历史上前所未有的公众关注度和产业投资，但这并不是机器学习的第一次成功。可以这样说，当前工业界所使用的绝大部分机器学习算法都不是深度学习算法。深度学习不一定总是解决问题的正确工具：有时没有足够的数据，深度学习不适用；有时用其他算法可以更好地解决问题。我们简要回顾机器学习方法，并介绍这些方法的历史背景。这样我们可以将深度学习放入机器学习的大背景中，并更好地理解深度学习的起源以及它为什么如此重要。

04

从卷积神经网络的角度看世界

原文地址：https://blog.keras.io/how-convolutional-neural-networks-see-the-world.html

06

各种编程语言的深度学习库整理

Python 1. Theano是一个python类库，用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法变得简单。在它基础之上还搭建了许多类库。　　1.Keras是一个简洁、高度模块化的神经网络库，它的设计参考了Torch，用Python语言编写，支持调用GPU和CPU优化后的Theano运算。　　2.Pylearn2是一个集成大量深度学习常见模型和训练算法的库，如随机梯度下降等。它的功能库都是基于Theano之上。　　3.Lasagne是一个搭建和训练神经网络的轻量级封装

02

原创 | 一文读懂卷积神经网络

作者：陈之炎本文约2000字，建议阅读5分钟本文让你读懂卷积神经网络。 2022年有专家曾经预测：在视觉领域，卷积神经网络(CNN)会和Transformer平分秋色。随着Vision Transformers (ViT)成像基准SOTA模型的发布， ConvNets的黎明业已到来，这还不算：Meta和加州大学伯克利分校的研究认为， ConvNets模型的性能优越于ViTs。在视觉建模中，虽然Transformer很快取代了递归神经网络，但是对于那些小规模的ML用例， ConvNet的使用量会出现陡降。

02

在Keras+TF环境中，用迁移学习和微调做专属图像识别系统

图1：CompCars数据集的示例图像，整个数据集包含163家汽车制造商，1713种车型王小新编译自 Deep Learning Sandbox 量子位出品 | 公众号 QbitAI 量子位曾经编译过Greg Chu的一篇文章，介绍了如何用Keras+TF，来实现ImageNet数据集日常对象的识别。但是，你要研究的物体，往往不在那个列表中。我们可能想要区分出不同型号的太阳镜、认出不同的鞋子、识别各种面部表情、说出不同汽车的型号、在X光影像下判定肺部疾病的类型，这时候该怎么办？ Greg Chu

05

值得探索的 8 个机器学习 JavaScript 框架

JavaScript开发人员倾向于寻找可用于机器学习模型训练的JavaScript框架。下面是一些机器学习算法，基于这些算法可以使用本文中列出的不同JavaScript框架来模型训练：

00

从AlexNet到残差网络，理解卷积神经网络的不同架构

该文介绍了神经网络模型压缩、加速和量化三个方面的研究进展。其中，压缩技术包括模型剪枝、知识蒸馏等方法，加速技术包括硬件加速、优化算法等方法，量化技术包括量化训练、量化推理等方法。这些技术在不同程度上减小了模型的大小、提高了推理的速度、降低了训练的能耗。

07

以色列神秘AI研究力量：深度学习的四大失败

【新智元导读】深度学习力量强大，但无论是理论研究者还是实际从业者，了解深度学习的局限也是十分重要的。耶路撒冷希伯来大学的一组研究人员，其中有两位任职于 Mobileye，发表了论文及演讲，介绍了深度学习４个常见问题，这些都是基于梯度的算法可能失败或很难解决的，特别是因为几何原因。近年来，深度学习已经成为了大量应用转型的解决方案，经常有“超越最好水平”的性能出现，但是，对于理论研究者和实践者来说，获得对一般深度学习方法和算法的更深度的理解，是极其重要的。我们描述了四种简单的问题，每一种问题，深度学习中经常使

08

目标检测 | OHEM

从图中可以看出，本文的亮点在于在每次迭代中，较少训练样本下，如何hard negative mining，来提升效果。

02

【知识星球】视频分类/行为识别网络和数据集上新

欢迎大家来到《知识星球》专栏，这两天有三AI知识星球专注更新3D卷积和视频分类/行为识别相关的网络以及相关数据集的介绍和下载。

01

DeepCluster：用于表示视觉特征的无监督学习聚类算法

在这篇文章中，我们要简单介绍Facebook 的“Deep Clustering for Unsupervised Learning of Visual Features”。

03

2017年深度学习必读31篇论文

新智元报道作者：Kloud Strife 译者：刘光明，费欣欣【新智元导读】2017年即将擦肩而过，Kloud Strife在其博客上盘点了今年最值得关注的有关深度学习的论文，包括架构/模型、生成模型、强化学习、SGD & 优化及理论等各个方面，有些论文名扬四海，有些论文则非常低调。一如既往，首先，标准免责声明适用，因为今年仅与GAN有关的论文就超过1660篇。我肯定会有疏漏，试图缩减到每两周一篇论文，包含了Imperial Deep Learning Reading Group上的大量素材。无

PyTorch 1.0 中文官方教程：迁移学习教程

在本教程中，您将学习如何使用迁移学习来训练您的网络。您可以在 cs231n 笔记上阅读更多关于迁移学习的信息

01

以色列神秘AI研究力量：深度学习的四大失败（视频+论文+ppt下载）

编译 / 刘小芹弗格森转自 / 新智元（微信号：AI_era）原文网址 / simons.berkeley.edu 近年来，深度学习已经成为了大量应用转型的解决方案，经常有“超越最好水平”的性能出现，但是，对于理论研究者和实践者来说，获得对一般深度学习方法和算法的更深度的理解，是极其重要的。我们描述了四种简单的问题，每一种问题，深度学习中经常使用的基于梯度的算法通常都是失败的，至少也会面临显著的困难。通过具体的实验，我们勾勒出了这些失败，并提供了用于解释这些失败形成原因的理论分析，最后，给出可能

09

Training Region-based Object Detectors with Online Hard Example Mining

在基于区域的卷积神经网络的浪潮中，目标检测领域已经取得了显著的进展，但是它们的训练过程仍然包含许多尝试和超参数，这些参数的调优代价很高。我们提出了一种简单而有效的在线难样本挖掘(OHEM)算法，用于训练基于区域的ConvNet检测器。我们的动机和以往一样——检测数据集包含大量简单示例和少量困难示例。自动选择这些困难的例子可以使训练更加有效。OHEM是一个简单直观的算法，它消除了几种常见的启发式和超参数。但更重要的是，它在基准测试(如PASCAL VOC2007和2012)上产生了一致且显著的检测性能提升。在MS COCO数据集上的结果表明，当数据集变得更大、更困难时，它的效率会提高。此外，结合该领域的互补进展，OHEM在PASCAL VOC 2007和2012年的mAP上分别取得了78.9%和76.3%的最新成果。

02

【干货】深度学习三大硬件+四大学习库基准测试对比，指标全面呈现

【新智元导读】深度学习计算该买哪款GPU，选择哪个平台？这篇文章为你提供对比指南。购买用于运行深度学习算法的硬件时，我们常常找不到任何有用的基准，唯一的选择是买一个GPU然后用它来测试。现在市面上性能最好的GPU几乎都来自英伟达，但其中也有很多选择：是买一个新出的TITAN X Pascal还是便宜些的TITAN X Maxwell，又或是GTX 1080？本文中我们对几个最常见的英伟达GPU以及最常用的一些深度学习算法进行了基准测试。软件方面，我们比较了最近发布的四个开源深度学习库：Tensorflow

深度学习GeForce GTX 1080/Titan X(Maxwell)/ Titan X (Pascal)比较

【新智元导读】深度学习计算该买哪款GPU，选择哪个平台？这篇文章为你提供对比指南。购买用于运行深度学习算法的硬件时，我们常常找不到任何有用的基准，唯一的选择是买一个GPU然后用它来测试。现在市面上性能最好的GPU几乎都来自英伟达，但其中也有很多选择：是买一个新出的TITAN X Pascal还是便宜些的TITAN X Maxwell，又或是GTX 1080？本文中我们对几个最常见的英伟达GPU以及最常用的一些深度学习算法进行了基准测试。软件方面，我们比较了最近发布的四个开源深度学习库：Tensorflow

05

【伯克利博士论文】高效、可扩展的视觉识别神经体系结构

来源：专知本文为论文，建议阅读5分钟在架构设计的各种目标中，效率和可扩展是两个重要的概念。 ConvNets和其他神经体系结构在计算机视觉方面的成功应用是过去十年人工智能革命的核心。对于可扩展视觉架构的强烈需求是既小又大。小型模型代表了对效率的需求，因为视觉识别系统通常部署在边缘设备上;大型模型强调了对可扩展性的追求——利用日益丰富的计算和数据实现更高精度的能力。这两个方向的研究都是卓有成效的，产生了许多有用的设计原则，对更多性能模型的追求从未停止。同时，文献中非常快的发展速度有时会掩盖某些方法取得良好结

02

基于深度学习的图像目标检测（上）

本文介绍了如何从单张图像中预测出多个物体的边界框和类别，并分析了在预测过程中各种因素对结果的影响。同时，文章还对一系列现有方法进行了评估和比较，并提供了改进方向。

09

深度 | 从AlexNet到残差网络，理解卷积神经网络的不同架构

选自cv-tricks 机器之心编译作者：KOUSTUBH 参与：路雪、刘晓坤卷积神经网络对视觉识别任务很有帮助。优秀的卷积神经网络具有数百万个参数和大量隐藏层。事实上，一个错误的经验法则是：「隐藏层的数量越多，卷积神经网络越好」。流行的卷积神经网络有 AlexNet、VGG、Inception、ResNet。这些网络为什么性能如此好？它们是如何设计的呢？为什么它们的结构是现在这样？本文给出了一个简单而全面的概述。这些问题的答案并不简单，无法全部涵盖在一篇博客中。在本文中，我将讨论这些问题。网络架构

07

软件2.0-Andrej Karpathy

https://medium.com/@karpathy/software-2-0-a64152b37c35

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭