在使用PyTorch进行深度学习任务时，我们经常会遇到类型错误（TypeError）的异常。这篇技术博客文章将着重讲解一个常见的TypeError异常：TypeError: clamp(): argument 'min' must be Number, not Tensor。我们将详细解释这个异常的原因，并提供一些解决办法。
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
通过@staticmethod装饰器即可把其装饰的方法变为一个静态方法，什么是静态方法呢？其实不难理解，普通的方法，可以在实例化后直接调用，并且在方法里可以通过self.调用实例变量或类变量，但静态方法是不可以访问实例变量或类变量的，一个不能访问实例变量和类变量的方法，其实相当于跟类本身已经没什么关系了，它与类唯一的关联就是需要通过类名来调用这个方法
在深度学习中，注意力机制（Attention Mechanism）被广泛应用于各种任务，如自然语言处理、计算机视觉等。PyTorch作为一个流行的深度学习框架，提供了丰富的工具和库，方便我们实现和使用注意力模型。在本篇技术博客中，我们将介绍PyTorch中的注意力机制及其使用方法。
魔法方法、属性和迭代器 本文内容全部出自《Python基础教程》第二版 在Python中，有的名称会在前面和后面都加上两个下划线，这种写法很特别。前面几章中已经出现过一些这样的名称(如__future__)，这种拼写表示名字有特殊含义，所以绝不要在自己的程序中使用这样的名字。在Python中，由这些名字组成的集合所包含的方法称为魔法(或特殊)方法。如果对象实现了这些方法中的某一个，那么这个方法会在特殊的情况下(确切地说是根据名字)被Python调用。而几乎没有直接调用它们的必要。 本章会详细
python是少数支持多重继承的现代编程语言之一。多重继承是同时从多个基类派生一个类的能力
在使用Python进行编程开发过程中，我们可能会遇到一些错误，其中之一是TypeError。在本篇文章中，我们将解释TypeError: __init__() got an unexpected keyword argument 'serialized_options'错误的背景和产生原因，并提供解决方案。
近段时间，Transformer-based模型在Visual Recognition领域取得了非常大的进展。但是如果不借助额外的训练数据，Transformer-based模型离CNN-based模型还是具有一定的差距（NFNet-F5（CNN-based）：86.8%，CaiT（Transformer-based）：86.5%）。作者认为，这是因为token embedding并没有进行细粒度特征表示，因此本文提出了一种新的Attention方式，通过局部信息的感知，能够获得更加细粒度的特征表示。
对两篇近期的使用注意力机制进行分割的文章进行了分析，并给出了简单的Pytorch实现。
Module 类是 torch.nn 模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。
众所周知，作为深度学习框架之一的 PyTorch 和其他深度学习框架原理几乎完全一致，都有着自动求导机制，当然也可以说成是自动微分机制。有些时候，我们不想要它自带的求导机制，需要在它的基础之上做些扩展，这个时候我们只需借用 PyTorch 框架中的 Function 类就可以实现了。
"Attention is All You Need"[1] 一文中提出的Transformer网络结构最近引起了很多人的关注。Transformer不仅能够明显地提升翻译质量，还为许多NLP任务提供了新的结构。虽然原文写得很清楚，但实际上大家普遍反映很难正确地实现。
本篇文章首先介绍DenseNet的原理以及网路架构，然后讲解DenseNet在Pytorch上的实现。
Transformer 模型来源于 Google 发表的一篇论文 “Attention Is All You Need”，希望大家能在有一些了解的基础上，能够自己读一下这篇文章。
在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。今天我们要介绍的是DenseNet模型，它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在channel上的连接来实现特征重用（feature reuse）。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能，DenseNet也因此斩获CVPR 2017的最佳论文奖。本篇文章首先介绍DenseNet的原理以及网路架构，然后讲解DenseNet在Pytorch上的实现。
目前，有数十种深度学习框架可以解决 GPU 上的任何种类的深度学习问题，那么为什么我们还需要一个呢？ 本书是对这一百万美元问题的解答。 PyTorch 进入了深度学习家族，并有望成为 GPU 上的 NumPy。 自加入以来，社区一直在努力兑现这一承诺。 如官方文档所述，PyTorch 是针对使用 GPU 和 CPU 进行深度学习的优化张量库。 尽管所有著名的框架都提供相同的功能，但 PyTorch 相对于几乎所有框架都具有某些优势。
小猿会从最基础的面试题开始，每天一题。如果参考答案不够好，或者有错误的话，麻烦大家可以在留言区给出自己的意见和讨论，大家是要一起学习的 。
一、异常的种类 在python中不同的异常可以用不同的类型去标识，一个异常标识一种错误。
这篇文章是伟兄给我的稿子，总结实用、到位。另外，欢迎访问并关注他的博客： https://jl-zhenlaixiaowei.blog.csdn.net/ 我曾经和一个聪明的 Pythonista 结对编程，每次他输入带有可选或关键字参数的函数定义时,他都会惊呼“argh!”和“kwargh！”。 要不然我们相处的很好，我猜想这就是学术界编程最终对人所带来的影响吧。 现在args和 kwargs参数仍然是 Python 中非常有用的特性，而且理解它们的威力将使您成为更有效的开发人员。 那么“args”和“
总的来说，卷积网络的可解释性一直是一个很重要的问题，你要用人工智能去说服别人，但是这是一个“黑箱”问题，卷积网络运行机理是一个black box，说不清楚内在逻辑。
在python开发的过程中,经常会遇到了*args和**kwargs这两个魔法变量，那么它们是什么呢？
特点: 在声明的时候. 需要给出self, self必须放在第一个位置
在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。今天我们要介绍的是 DenseNet(Densely connected convolutional networks) 模型，它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在channel上的连接来实现特征重用（feature reuse）。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能，DenseNet也因此斩获CVPR 2017的最佳论文奖。本篇文章首先介绍DenseNet的原理以及网路架构，然后讲解DenseNet在Pytorch上的实现。
提到元这个字，你也许会想到元数据，元数据就是描述数据本身的数据，元类就是类的类，相应的元编程就是描述代码本身的代码，元编程就是关于创建操作源代码(比如修改、生成或包装原来的代码)的函数和类。主要技术是使用装饰器、元类、描述符类。本文的主要目的是向大家介绍这些元编程技术，并且给出实例来演示它们是怎样定制化源代码的行为。
Python 解释器内置了许多函数和类型，列表如下（按字母排序）（省略了几个我没用过或者不常用的）。
自注意力机制是一种在神经网络中实现信息自相关性的方法。它通过计算输入信息之间的相关性，对输入数据的重要性进行加权处理。在传统的神经网络中，信息从输入层逐层传递，每个神经元只能接收来自上一层的信息。而自注意力机制则打破了这一限制，允许每个神经元同时接收来自所有层次的信息，从而更有效地捕捉输入数据的内在联系。
本文介绍了PyTorch中Module类的基本用法和主要属性。Module是PyTorch中所有网络层和自定义层的基础类。它定义了添加自定义层和修改网络结构的方法。通过继承Module类，我们可以轻松定义和重用自定义层。主要属性包括_parameters（参数），_buffers（缓冲区），_modules（模块），_forward（前向传播方法），_backward（反向传播方法），_update_cache（更新缓存），_register_buffer（注册缓冲区），_register_parameter（注册参数），_training（训练状态）。使用Module，我们可以轻松构建复杂的神经网络模型。
本章开始了一段旅程，我们将深入研究我们在前几章中使用的模型的内部。我们将涵盖许多我们以前见过的相同内容，但这一次我们将更加密切地关注实现细节，而不那么密切地关注事物为什么是这样的实际问题。
在Python中，有些名称很特别，开头和结尾都是两个下划线。我们可能用过一些，如__future__。这样的拼写表示名称有特殊意义，因此绝不要在程序中创建这样的名称。在这样的名称中，很大一部分都是魔法（特殊）方法的名称。如果你的对象实现了这些方法，它们将在特定情况下（具体是那种情况取决于方法的名称）被Python调用，而几乎不需要直接调用。
2. 变量 1. 实例变量: 昨天写的就是实力变量, 由对象去访问的变量. 2. 类变量. 此时. 这个变量属于类. 但是对象也可以访问.
在Python中，所有以__双下划线包起来的方法，都统称为魔术方法。比如最常见的 __init__ 。
本文介绍了Python中类方法、静态方法、类变量、描述符以及装饰器在Python中的应用。类方法使用`@classmethod`装饰器定义，可以在不创建类实例的情况下被调用；静态方法使用`@staticmethod`装饰器定义，不会获取类的实例；类变量使用`@classproperty`装饰器定义，可以在类实例之间共享数据；描述符使用`@descriptor`装饰器定义，可以用于实现自定义的属性；装饰器是用于修改或生成其他类的函数或属性，可以增强现有类的功能或改变其行为。
arXiv:https://arxiv.org/pdf/2109.15099.pdf
(1) 静态的特征称为属性，动态的动作称为方法。对象中的属性和方法，在编程中实际是变量 (属性) 和函数 (方法) 。
【磐创AI导读】：本篇文章为大家介绍了深度学习框架Keras与Pytorch对比，希望对大家有所帮助。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
上一节，我们已经成功训练了我们的深度神经网络，甚至尝试了在GPU上训练。不过我们的网络仍然处于一种初级状态，只能说大概了解了炼丹炉的工作流程，炼丹的时候还有很多改进技巧可以提升炼丹的效率或者效果。
正如英文单词描述的，函数就是“功能”的意思，把完成一个功能所需要的代码打包起来放在一个函数下可以方便以后程序的重复调用，也能使整体代码条理清晰。正如前面用到的print(), input()之类的内置函数，这里讨论的函数为自定义涵数。
在深度学习中，卷积的目的是从输入中提取有用的特征。在图像处理中，卷积滤波器的选择范围非常广，每种类型的滤波器（比如Sobel算子、Canny算子等）都有助于从输入图像中提取不同的方面或者特征，比如水平、垂直、边缘或对角线等特征。
调用net = LeNet(classes=2)创建模型时，会调用__init__()方法创建模型的子模块。
Python的抽象基类类似于Java、C++等面向对象语言中的接口的概念。抽象基类提供了一种要求子类实现指定协议的方式，如果一个抽象基类要求实现指定的方法，而子类没有实现的话，当试图创建子类或者执行子类代码时会抛出异常。这里简单介绍一下Python实现抽象基类的三种方法。
1 顺序表的定义 线性表 是具有相同数据类型的n个数据元素的有限序列。 顺序表 使用组地址连续的存储单元、依次存储线性表中的数据元素，从而使得逻辑上相邻的两个元素在物理位置上也相邻。顺序表是线性表
我们经常在开发中会遇到这样一种场景，即轮询操作。今天介绍一个Python库，用于更方便的达到轮询的效果——backoff。
我们经常在开发中会遇到这样一种场景，即轮循操作。今天介绍一个Python库，用于更方便的达到轮循的效果——backoff。
在python中不同的异常可以用不同的类型（python中统一了类与类型，类型即类）去标识，不同的类对象标识不同的异常，一个异常标识一种错误
接下来将基于使用程序对圆进行描述这一问题，来解释纯过程型程序设计方法存在的问题。用于描述一个圆所需要的最少数据包括圆心坐标（x, y）以及圆的半径，简单的方法是使用一个三元组对圆进行描述，比如：circle = (25, 80, 12) 。
自 2017 年 1 月 PyTorch 推出以来，其热度持续上升，一度有赶超 TensorFlow 的趋势。PyTorch 能在短时间内被众多研究人员和工程师接受并推崇是因为其有着诸多优点，如采用 Python 语言、动态图机制、网络构建灵活以及拥有强大的社群等。因此，走上学习 PyTorch 的道路已刻不容缓。
计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。
Pytorch很灵活，支持各种OP和Python的动态语法。但是转换到onnx的时候，有些OP（目前）并不支持，比如torch.cross。这里以一个最小化的例子来演示这个过程，以及对应的解决办法。
【导读】近日,专知小组博士生huaiwen创作了一系列PyTorch实战教程，致力于介绍如何用PyTorch实践你的科研想法。今天推出其创作的第一篇《深度学习实验流程及PyTorch提供的解决方案》。在研究深度学习的过程中，当你脑中突然迸发出一个灵感，你是否发现没有趁手的工具可以快速实现你的想法？看完本文之后，你可能会多出一个选择。本文简要的分析了研究深度学习问题时常见的工作流, 并介绍了怎么使用PyTorch来快速构建你的实验。如果本文能为您的科研道路提供一丝便捷，我们将不胜荣幸。 专知公众号以前推出Py
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
