多加一个括号，结果都是一致的，都是表示二维张量，张量形状都是（4，9），所以二维有两种写法，但再加一层括号，形状就变成了(1,4,9)三维，判断维数技巧：最外面的括号去掉开始数，比如：
Opacus是一种新的高速库，用于使用差分隐私（DP）训练PyTorch模型，该库比现有的最新方法更具可扩展性。差异隐私是用于量化敏感数据匿名化的严格数学框架。它通常用于分析中，并且对机器学习（ML）社区的兴趣日益浓厚。随着Opacus的发布，我们希望为研究人员和工程师提供一条更轻松的途径，以在ML中采用差异隐私，并加速该领域的DP研究。
虽然两级检测器取得了巨大的成功，但是单级检测器仍然是一种更加简洁和高效的方法，在训练过程中存在着两种众所周知的不协调，即正、负样本之间以及简单例子和困难例子之间在数量上的巨大差异。在这项工作中，我们首先指出，这两个不和谐的本质影响可以用梯度的形式来概括。此外，我们提出了一种新的梯度协调机制(GHM)来对冲不协调。GHM背后的原理可以很容易地嵌入到交叉熵(CE)等分类损失函数和smooth l1 (SL1)等回归损失函数中。为此，我们设计了两种新的损失函数GHM-C和GHM-R来平衡梯度流，分别用于anchor分类和bounding box细化。MS COCO的消融研究表明，无需费力的超参数调整，GHM-C和GHM-R都可以为单级探测器带来实质性的改进。在没有任何附加条件的情况下，该模型在COCO test-dev set上实现了41.6 mAP，比目前最先进的Focal Loss(FL) + SL1方法高出0.8。
近日，Facebook 开源了一个新型库 Opacus，它支持使用差分隐私来训练 PyTorch 模型，扩展性优于目前的 SOTA 方法。同时，Opacus 库支持以最少代码更改来训练模型，且不会影响训练性能，并允许在线跟踪任意给定时刻的隐私预算。
为了知道模块中可以调用哪些函数和类，我们调用 dir 函数。例如，我们可以(查询随机数生成模块中的所有属性：)
训练误差（training error）指模型在训练数据集上表现出的误差，泛化误差（generalization error）指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。
梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。梯度裁剪有两种常见的方法：
这篇文章的主要内容来自作者的自身经验和一些在线资源（如最出名的斯坦福大学的CS231n课程讲义），是关于如何调试卷积神经网络从而提升其性能的。
图像边缘检测的概念和大概原理可以参考我的另一篇博文，链接如下： https://blog.csdn.net/wenhao_ir/article/details/51743382
以前的博文大部分都写的非常详细，有很多分析过程，不过写起来确实很累人，一般一篇好的文章要整理个三四天，但是，时间越来越紧张，后续的一些算法可能就以随记的方式，把实现过程的一些比较容易出错和有价值的细节部分加以描述，并且可能需要对算法本身有一定了解的朋友才能明白我所描述的一些过程了。
假如我们要求z对x1的偏导数，那么势必得先求z对t1的偏导数，这就是链式法则，一环扣一环
启动jupyter notebook，使用新增的pytorch环境新建ipynb文件，为了检查环境配置是否合理，输入import torch以及torch.cuda.is_available() ，若返回TRUE则说明实验环境配置正确，若返回False但可以正确导入torch则说明pytorch配置成功，但实验运行是在CPU进行的，结果如下：
在这一篇文章里我们将去学习在计算机视觉中边缘检测的知识，并且去使用OpenCV来实现Canny边缘检测算法。
Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。
风格迁移这一想法与纹理生成的想法密切相关，在 2015 年开发出神经风格迁移之前，这一想法就已经在图像处理领域有着悠久的历史。但事实证明，与之前经典的计算机视觉技术实现相比，基于深度学习的风格迁移实现得到的结果是无与伦比的，并且还在计算机视觉的创造性应用中引发了惊人的复兴。
有趣的是，机器学习的情况是相反的。我们已经在文本分析应用方面取得了比图像或音频更多的进展。以搜索问题为例。人们在信息检索和文本检索方面已经取得了相当多年的成功，而图像和音频搜索仍在不断完善。在过去五年中，深度学习模式的突破最终预示着期待已久的图像和语音分析的革命。
项目链接：https://github.com/ajbrock/BigGAN-PyTorch 该项目一出即引发了人们的广泛关注，有的人表示不敢相信，也有人哭晕在 Colab。
精简模型的设计是模型压缩中的第一步，而且是能够保证模型精度不下降的最有效的一种策略，最近我们分享了对特征图的冗余计算进行约减的GhostNet框架。
在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。
首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特征，就好比上面的水平线。
AI 研习社按：这篇文章来自俄罗斯数据科学家、机器学习爱好者、创业公司的计算机视觉研究员 Alexander Aveysov。他参加了 2018 年度的「Machine Can See」的对抗性样本攻防大赛，并在比赛中获得了第二名。这篇文章是他对这次比赛的个人感想以及经验总结。AI 研习社编译如下。
AI 科技评论按：这篇文章来自俄罗斯数据科学家、机器学习爱好者、创业公司的计算机视觉研究员 Alexander Aveysov。他参加了 2018 年度的「Machine Can See」的对抗性样本攻防大赛，并在比赛中获得了第二名。这篇文章是他对这次比赛的个人感想以及经验总结。AI 科技评论编译如下。
正如我们在第一章和第二章中讨论的，有时机器学习模型可能出错。它们可能有错误。它们可能被呈现出以前没有见过的数据，并以我们意料之外的方式行事。或者它们可能完全按设计工作，但被用于我们非常希望它们永远不要被用于的事情。
选自inFERENCe 作者：Ferenc Huszár 机器之心编译 参与：程耀彤、思源 深度模型的泛化性能一直是研究的主题。最近，Twitter 的机器学习研究员 Ferenc Huszár 发表了一篇文章专门讨论泛化与 Fisher-Rao 范数之间的关系，它先分析了提出 Fisher-Rao 度量方法的论文，包括带偏置项和不带偏置项的分段线性网络的可视化，然后再讨论了其它如 Fisher-Rao 范数是否会成为有效的正则化器等问题。 在上周发布的关于泛化之谜的文章之后，有研究者向我介绍了最近将 F
[神经网络]反向传播梯度计算数学原理 1 文章概述 本文通过一段来自于Pytorch官方的warm-up的例子：使用numpy来实现一个简单的神经网络。使用基本的数学原理，对其计算过程进行理论推导，以揭示这几句神奇的代码后面所包含的原理。 估计对大多数的同学来说，看完这个文章，肯定会是这样的感觉：字都认识，但是就是不知道讲的是啥~！不过对于有心人来说，本文确实能起到点睛之笔，就是你研究很久后，还差一点火候就顿悟了，希望本文能够帮你顿悟。 关键字：Numpy,神经网络,矩阵分析,反射传播,梯度下降 如果发现图
链接：https://blog.csdn.net/shanglianlm/article/details/85019768
使用交叉熵损失的原因是它求导结果简单，易于计算，最后结果中Softmax损失函数对应于每一项概率的偏导即为通过Softmax计算出的概率向量中对应真正结果的那一维减1。比如通过若干层计算，最后得到某个训练样本对应的分类得分为[1, 5, 3]，那么通过Softmax计算得到概率分别为[0.015, 0.886, 0.117]，假设样本正确的分类为第二类，则对应每项的偏导为[0.015, 0.886-1, 0.117]，根据这个向量就可以进行反向传播了
以基于线性SVM的人体检测为例，研究了鲁棒视觉目标识别的特征集问题。在回顾了现有的基于边缘和梯度的描述符之后，我们通过实验证明了方向梯度(HOG)描述符的直方图网格在人类检测方面明显优于现有的特征集。我们研究了计算的各个阶段对性能的影响，得出结论:在重叠描述符块中，细尺度梯度、细方向边距、相对粗的空间边距和高质量的局部对比度归一化都是获得良好结果的重要因素。新方法在原有MIT行人数据库的基础上实现了近乎完美的分离，因此我们引入了一个更具挑战性的数据集，其中包含1800多张带注释的人类图像，具有大范围的姿态变化和背景。
直方图在计算机视觉中应用广泛。例如，通过判断帧与帧之间边缘和颜色的统计量是否出现巨大变化，来检测视频中场景的变换。通过使用兴趣点邻域内的特征组成的直方图，来辨识兴趣点。若将边缘、颜色、角点等等的直方图作为特征，可以使用分类器来进行目标识别。提取视频中的颜色或边缘直方图序列，可以用来判断视频是否拷贝自网络。这样的应用数不胜数，直方图可以说是计算机视觉领域中的经典工具之一。
神经网络的代价函数，也叫损失函数、目的函数、误差函数，用于评估数据模型得出的理论值与实际值误差达到最小
选自 Sigmoidal 作者：Roman Trusov 机器之心编译 参与：Panda 生成对抗网络是现在人工智能领域的当红技术之一。近日，Sigmoidal.io 的博客发表了一篇入门级介绍文章，对 GAN 的原理进行了解释说明。另外，在该文章的最后还附带了一些能帮助初学者自己上手开发实验的资源（包含演讲、教程、代码和论文），其中部分资源机器之心也曾有过报道或解读，读者可访问对应链接查阅。 你怎么教一台从未见过人脸的机器学会绘出人脸？计算机可以存储拍字节级的照片，但它却不知道怎样一堆像素组合才具有与人
到目前为止，我们已经仔细研究了线性模型如何学习以及如何在 PyTorch 中实现这一点。我们专注于一个非常简单的回归问题，使用了一个只有一个输入和一个输出的线性模型。这样一个简单的例子使我们能够剖析一个学习模型的机制，而不会过于分散注意力于模型本身的实现。正如我们在第五章概述图中看到的，图 5.2（这里重复为图 6.1），了解训练模型的高级过程并不需要模型的确切细节。通过将错误反向传播到参数，然后通过对损失的梯度更新这些参数，无论底层模型是什么，这个过程都是相同的。
本文从 PyTorch 两篇官方文档开始为大家解读两个示例。本文不会逐句翻译，而是选取重点并且试图加入自己的理解。
一般的边缘检测算法用一个阀值来滤除噪声或颜色变化引起的小的梯度值，而保留大的梯度值。Canny算法应用双阀值，即一个高阀值和一个低阀值来区分边缘像素。如果边缘像素点梯度值大于高阀值，则被认为是强边缘点。如果边缘梯度值小于高阀值，大于低阀值，则标记为弱边缘点。小于低阀值的点则被抑制掉。
Canny算子通过边缘差分算子（如Rober，Prewitt，Sobel）计算差分的水平方向的Gx和垂直方向的Gy，梯度的幅度G和方向θ（梯度的方向与边缘的方向垂直）：
在使用PyTorch进行深度学习任务时，我们经常会遇到类型错误（TypeError）的异常。这篇技术博客文章将着重讲解一个常见的TypeError异常：TypeError: clamp(): argument 'min' must be Number, not Tensor。我们将详细解释这个异常的原因，并提供一些解决办法。
当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。
来源：深度学习爱好者编辑：深度学习自然语言处理 链接：https://blog.csdn.net/shanglianlm/article/details/85019768本文约1500字，建议阅读5分钟tensorflow和pytorch很多都是相似的，这里以pytorch为例。 19种损失函数 1. L1范数损失 L1Loss 计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction='mean') 参数： reduction-三个值，none: 不使用
今年初，Facebook 推出了 PyTorch 1.0，该框架集成了谷歌云、AWS 和 Azure 机器学习。学习本教程之前，你需要很熟悉 Scikit-learn，Pandas，NumPy 和 SciPy。这些程序包是使用本教程的重要先决条件。
选自arXiv 作者：Zhuowen Tu、Ce Liu等 机器之心编译 编辑：Panda Transformer 已经为多种自然语言任务带来了突飞猛进的进步，并且最近也已经开始向计算机视觉领域渗透，开始在一些之前由 CNN 主导的任务上暂露头角。近日，加州大学圣迭戈分校与 Google Research 的一项研究提出了使用视觉 Transformer 来训练 GAN。为了有效应用该方法，研究者还提出了多项改进技巧，使新方法在一些指标上可比肩前沿 CNN 模型。 卷积神经网络（CNN）在卷积（权重共
上一节，我们写了很多代码，但是不知道你有没有注意，那些代码看起来跟PyTorch关系并不是很大啊，貌似很多都是Python原生代码？
视觉和声音是人类固有的感觉输入。我们的大脑是可以迅速进化我们的能力来处理视觉和听觉信号的，一些系统甚至在出生前就对刺激做出反应。另一方面，语言技能是学习得来的。他们需要几个月或几年的时间来掌握。许多人天生就具有视力和听力的天赋，但是我们所有人都必须有意训练我们的大脑去理解和使用语言。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
