书接前文，我们了解了 —— # 刹车与油门：PyTorch Autograd 的赛车之旅，如文所说，自动微分是 PyTorch 深度学习框架的核心。既然是核心，就需要敲黑板、划重点学习。同时，带来另外一个重要的数学概念：雅可比向量积。
原文翻译自：Deep Learning with PyTorch: A 60 Minute Blitz
来源：PaperWeekly本文约3600字，建议阅读7分钟本文以可逆残差网络（The Reversible Residual Network: Backpropagation Without Storing Activations）作为基础进行分析。 为什么要用可逆网络呢？ 因为编码和解码使用相同的参数，所以 model 是轻量级的。可逆的降噪网络 InvDN 只有 DANet 网络参数量的 4.2%，但是 InvDN 的降噪性能更好。 由于可逆网络是信息无损的，所以它能保留输入数据的细节信息。 无论网
autograd 包是 PyTorch 中所有神经网络的核心。首先让我们简要地介绍它，然后我们将会去训练我们的第一个神经网络。该 autograd 软件包为 Tensors 上的所有操作提供自动微分。它是一个由运行定义的框架，这意味着以代码运行方式定义你的后向传播，并且每次迭代都可以不同。我们从 tensor 和 gradients 来举一些例子。
大家好！在这篇文章里我将为大家简要介绍我们在ICRA2021上发表的论文"CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth" ，很荣幸这个工作获得了同行评审专家的认可，获得了机器视觉最佳论文提名。
用反向传播（backpropagation）来计算优化目标函数的梯度，是当前机器学习领域的主流方法。近日，牛津与微软等机构的多位学者联合提出一种名为「正向梯度」（forward gradient）的自动微分模式，可以完全抛弃反向传播进行梯度计算。实验证明，在一些问题中，正向梯度的计算时间是反向传播的二分之一。 编译 | 张倩 编辑 | 陈彩娴 反向传播和基于梯度的优化是近年来机器学习（ML）取得重大突破的核心技术。 人们普遍认为，机器学习之所以能够快速发展，是因为研究者们使用了第三方框架（如PyTorch、
选自Medium 作者：Yaroslav Bulatov 机器之心编译 参与：蒋思源 反向传播是当前深度学习主要使用的参数更新方法，因此深度学习的硬件设计也需要拟合这种反向传播的计算结构。本文从反向传播的抽象表达开始简要地分析了 BP 算法和脉动阵列架构（systolic array architecture）之间的相似性，从而表明了脉动阵列架构适合执行 BP 和进行模型训练。 在并行计算的体系架构中，脉动阵列（systolic array）是紧密耦合的数据处理单元（data processing unit
https://github.com/fengdu78/machine_learning_beginner/tree/master/PyTorch_beginner
在最近结束的 NeruIPS 2018 中，来自多伦多大学的陈天琦等研究者成为最佳论文的获得者。他们提出了一种名为神经常微分方程的模型，这是新一类的深度神经网络。神经常微分方程不拘于对已有架构的修修补补，它完全从另外一个角度考虑如何以连续的方式借助神经网络对数据建模。在陈天琦的讲解下，机器之心将向各位读者介绍这一令人兴奋的神经网络新家族。
Tensors（张量）与 Numpy 的 ndarrays 类似，但是其支持在 GPU 上使用来加速计算。
On Explainability of Graph Neural Networks via Subgraph Explorations 论文摘要：
由Luca Antiga、Eli Stevens和Thomas Viehmann编写的《使用PyTorch进行深度学习》一书的完整版现已发布！
有趣的是，这种输入几何形状的信息传播的发散深度尺度与训练极深的临界网络的能力相吻合[31]（如图3所示）。此外，在远离临界点时，可靠的前向信息传播的深度尺度决定了神经网络可以训练的深度。这种临界相变、发散的深度尺度和临界状态下的深度可训练性不仅在全连接网络中观察到[31]，而且还在卷积网络[63]，自编码器[64]和循环网络[65,66]中观察到。
科学家们进行试错程序，这些试验多次导致科学突破。同样基础研究提供了开发大规模人工智能系统的理论见解，从而减少了所需的试错量，并且非常具有成本效益。
本文和上文以 Automatic Differentiation in Machine Learning: a Survey为基础，逐步分析自动微分这个机器学习的基础利器。
在对公式(3)的误差曲面运行梯度下降之前，我们必须要选择参数 的初始配置。 对应公式(1)神经网络中所有 层中的权重和偏置 。通常，这些参数的初始值是随机选择的。权重 从一个零均值方差为 的高斯分布中独立同分布采样，其中 为突触前层的神经元数量。偏置则是从一个零均值方差为 的高斯分布中独立同分布采样。权重和偏置的相对尺度确保两者在同等的基础上影响突触后活动，即使对于大的 。
Flow-based Generative Models for Learning Manifold to Manifold Mappings
虽然网络上已经有不少关于多元微积分和线性代数的在线资料，但它们通常都被视作两门独立的课程，资料相对孤立，也相对晦涩。
本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础，逐步分析自动微分这个机器学习的基础利器。
PyTorch 中，所有神经网络的核心是 autograd 包。autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义 ( define-by-run ）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。
今天更新关于常见深度学习模型适合练手的项目。这些项目大部分是我之前整理的，基本上都看过，大概俩特点：代码不长，一般50-200行代码，建议先看懂然后再实现和优化，我看基本上所有的实现都有明显可优化的地方；五脏俱全，虽然代码不长，但是该有的功能都有，该包含的部分也基本都有。所以很适合练手，而且实现后还可保存好，以后很多任务可能就会用到。
【导读】本文是作者Nikhil B撰写的“Terence Parr和Jeremy Howard的深度学习的矩阵运算”笔记。我们知道，深度学习是基于线性代数和微积分的，反向传播也离不开求导和矩阵运算。因
（这种特性让人联想到全身麻醉中的一种现象，即患者在 醒来时似乎大致恢复到麻醉前的状态）
在机器学习（ML）领域，动力学系统与深度学习的结合已经成为研究社区感兴趣的课题。尤其是对神经微分方程（neural differential equation, NDEs）而言，它证明了神经网络和微分方程是「一枚硬币的正反面」。
这里有一份干货教程，手把手带你入门深度强化学习（Deep Reiforcement Learning），背景理论、代码实现全都有，在线领取无需安装哟！
这份Pytorch强化学习教程一共有八章，从DQN（Deep Q-Learning）开始，步步深入，最后向你展示Rainbow到底是什么。
近日，北京智源人工智能研究院开展了第一次论坛，其以「人工智能的数理基础」这一重大研究方向为主题，从数学、统计和计算等角度讨论了智能系统应该怎样融合数学系统。
【磐创AI导读】：本篇文章讲解了PyTorch专栏的第一章，简单介绍了PyTorch及其环境搭建，希望对大家有所帮助。查看上篇关于本专栏的介绍：PyTorch专栏开篇。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
Pytorchtask·1——PyTorch的基本概念1. 什么是PyTorch，为什么选择PyTorch2. 配置Python环境3. 准备Python管理器4. Pytroch的安装5.PyTorch基础概念6. 通用代码实现流程(实现一个深度学习的代码流程)
对于 Batch Normalization 的知识最原始的出处来源于《Batch Normalization:Accelerating Deep Network Trainning by Reducing Internal Covariate Shift》这篇论文。
原文：Deep Learning’s Most Important Ideas[1]
作者：Flood Sung 编辑：费欣欣 【新智元导读】不用传统外挂，训练纯深度学习AI来玩跳一跳，结果会如何？本文作者使用模仿学习，训练了一个端到端的神经网络玩跳一跳，使用注意力机制（Attention）分析后发现，神经网络在玩游戏时，也会自动捕捉棋子与盒子的重要位置信息。代码不过100行，希望这个工作能让大家体会到深度学习的魅力！ 微信跳一跳自发布以来，迅速成为人们茶余饭后的休闲利器，同时也演变成了各路程序员的竞技场。程序员们争先开发出各种牛逼外挂，把小游戏玩出了新的境界。 然而，目前出来的各种外挂版本
神经网络模型的一个主要诉求是用单个模型架构解决各种相关任务。然而，最近的许多进展都是针对特定领域量身定制的特定解决方案。例如，无监督学习中的当前最佳架构正变得越来越具有领域特定性 (Van Den Oord et al., 2016b; Kingma & Dhariwal, 2018; Parmar et al., 2018; Karras et al., 2018; Van Den Oord et al., 2016a)。另一方面，用于判别学习的最成功的前馈架构之一是深度残差网络 (He et al., 2016; Zagoruyko & Komodakis, 2016)，该架构与对应的生成模型有很大不同。这种划分使得为给定任务选择或设计合适架构变得复杂。本研究提出一种在这两个领域都表现良好的新架构，弥补了这一差距。
https://github.com/SciML/DifferentialEquations.jl
从出道起，我就一直是一名程序员。我喜欢从头开始编写代码，这有助于我清楚地理解主题（或技巧）。当我们刚开始学习数据科学时，这种方法尤为有用。
昨天，优步AI Lab开源了深度神经进化的加速代码。其博客上称，哪怕用户只有一台电脑（台式机），用这个代码也能训练出会打雅达利的AI。而且只需要4！小！时！
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文发表在 ICML 2020 中，题目是Hypernetwork approach to generating point clouds。利用超网络（hypernetworks）提出了一种新颖的生成 3D 点云的方法。与现有仅学习3D对象的表示形式方法相反，我们的方法可以同时找到对象及其 3D 表面的表示。我们 HyperCloud 方法主要的的想法是建立一个超网络，返回特定（目标）网络的权重，目标网络将均匀的单位球上的点映射到 3D 形状上。因此，特定的 3D 形状可以从假定的先验分布中通过逐点采样来生成，并用目标网络转换。因为超网络基于自动编码器，被训练来重建3D 形状，目标网络的权重可以视为 3D 表面的参数化形状，而不像其他的方法返回点云的标准表示。所提出的架构允许以生成的方式找到基于网格的 3D 对象表示。
前馈神经网络（Feedforward Neural Network, FNN）是神经网络中最基本和经典的一种结构，它在许多实际应用场景中有着广泛的使用。在本节中，我们将深入探讨FNN的基本概念、工作原理、应用场景以及优缺点。
深度学习是一个计算需求强烈的领域，您的GPU的选择将从根本上决定您的深度学习体验。在没有GPU的情况下，这可能看起来像是等待实验结束的几个月，或者运行一天或更长时间的实验，只是看到所选参数已关闭。 有了一个好的，坚实的GPU，人们可以快速迭代深度学习网络，并在几天而不是几个月，几小时而不是几天，几分钟而不是几小时的时间内运行实验。因此，在购买GPU时做出正确的选择至关重要。那么你如何选择适合你的GPU呢？这个博客文章将深入探讨这个问题，并会借给你的建议，这将有助于你做出适合你的选择。 拥有高速GPU是开始学
当前神经网络层之前的神经网络层的参数变化，引起神经网络每一层输入数据的分布产生了变化，这使得训练一个深度神经网络变得复杂。这样就要求使用更小的学习率，参数初始化也需要更为谨慎的设置。并且由于非线性饱和（注：如sigmoid激活函数的非线性饱和问题），训练一个深度神经网络会非常困难。我们称这个现象为：internal covariate shift。同时利用归一化层输入解决这个问题。我们将归一化层输入作为神经网络的结构，并且对每一个小批量训练数据执行这一操作。Batch Normalization（BN） 能使用更高的学习率，并且不需要过多地注重参数初始化问题。BN 的过程与正则化相似，在某些情况下可以去除Dropout
PyTorch的主要功能和特点之一就是backword函数，我知道一些基本的导数:
Demo 这是最近两个月来的一个小总结，实现的demo已经上传github，里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略，以及经验（其实并没有什么经验）等，白菜一枚。 Demo Site: https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-pytorch
选自imaddabbura 机器之心编译 参与：刘天赐、路 本文介绍了如何使用梯度检验方法确认反向传播代码是否准确。 在《Coding Neural Network - Forward Propagation and Backpropagation》一文中，我们借助 numpy 实现了前向传播和反向传播算法。但从头开始实现反向传播很容易遇到 bug 或者报错。因此，在训练数据上运行神经网络之前，必须检验反向传播的实现是否正确。不过首先，我们先复习一下反向传播的概念：从最后的节点开始，沿着拓扑排序的反方向遍历
对于词语的表示，最开始采用one-hot编码，用于判断文本中是否具有该词语；后来发展使用Bag-of-Words，使用词频信息对词语进行表示；再后来使用TF-IDF根据词语在文本中分布情况进行表示。而近年来，随着神经网络的发展，分布式的词语表达得到大量使用，word2vec就是对词语进行连续的多维向量表示。 区别于其它神经网络对词语embedding表示，Mikolov的word2vec非常漂亮，直接采用单层神经网络（或理解为sigmoid函数）对词语进行表示。具体的方法有两种CBOW和Skip-gram，
从我们深度学习项目的高层视角或概括的角度来看，我们准备了数据，现在，我们准备构建我们的模型。
原文链接https://indico.io/blog/python-deep-learning-frameworks-reviewed/ 麦迪逊月 - 2017年1月31日 ---- 我最近偶然发现了我在“神经网络的最佳python库”这个主题的一个旧的数据科学堆栈交换的答案，它让我深感python深度学习生态系统在过去的两年半内的快速发展。我在2014年七月推荐的一个库pylearn2，现在已经不再被积极地开发和维护，并且一大批深度学习的库已经占据它的位置。其实每一个库都有它的优势和弱点。我们已经使
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
