a.sub_(lr*a.grad)实际上是做什么的？ - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

都知道这么做是对的，但是能说为什么的没多少 ...

首先无论是 i 指针往右移动还是 j 指针往左移动都会导致 w 变小，所以想要能够枚举到更大的面积，我们应该让 h 在指针移动后变大。...不妨假设当前情况是 height[i] < heigth[j]（此时矩形的高度为 height[i]），然后分情况讨论：让 i 和 j 两者高度小的指针移动，即 i 往右移动：移动后，i 指针对应的高度变小...复杂度为空间复杂度：最后这是我们「刷穿 LeetCode」系列文章的第 No.11 篇，系列开始于 2021/01/01，截止于起始日 LeetCode 上共有 1916 道题目，部分是有锁题

3.3K2 0

【他山之石】几行代码让你搞懂torch.no_grad

(retain_graph = True ) print(a, a.grad, a.requires_grad ) with torch.no_grad(): a = a + a.grad...None False 我们在with torch.nograd()下使用了 =+的操作，这实际上生成了一个新的变量a，因为torch.no_grad的作用下使得a变量没法求梯度。...(retain_graph = True ) print(a, a.grad, a.requires_grad ) with torch.no_grad(): a += a.grad print...True 可以发现，-+的原地修改本来是不行的，因为autograd会检测你这个值是否变化，但是如果加上torch.no_grad()后就逃避了autograd的检测，在上下文管理器中只修改了tensor...= True ) print(a, a.grad, a.requires_grad ) with torch.no_grad(): a += a.grad print(a, a.grad

4793 0

您找到你想要的搜索结果了吗？

是的

没有找到

一文理解PyTorch：附代码实例

# a -= lr * a.grad # b -= lr * b.grad # THIRD ATTEMPT # We need to use NO_GRAD to keep...with torch.no_grad(): a -= lr * a.grad b -= lr * b.grad # PyTorch is "clingy" to its...# with torch.no_grad(): # a -= lr * a.grad # b -= lr * b.grad optimizer.step() #...在这个例子中我们使用的是MSE损失。注意nn.MSELoss实际上为我们创建了一个损失函数——它不是损失函数本身。...通过这样做，我们可以使用模型的parameters()方法来检索所有模型参数的迭代器，甚至是那些嵌套模型的参数，我们可以使用它们来提供我们的优化器(而不是自己构建参数列表!)

1.2K2 0

Pytorch 拷贝数据

a = torch.tensor(1.0, requires_grad=True) y = a ** 2 a_ = a.clone() z = a_ * 3 y.backward() print(a.grad...) # 2 z.backward() print(a_.grad) # None, 无grad print(a.grad) # 5. a_的梯度会传递回给a，因此2+3=5 a = a + 1...set a_.requires_grad = True z = a_ * 3 y.backward() z.backward() print(a_.grad) # tensor(3.) print(a.grad...共享内存空间 3、torch.clone.detach() （建议赋值方法） clone()提供了非数据内存共享的梯度追溯功能，而detach又“舍弃”了梯度回溯功能，因此clone.detach()只做简单的数据复制...（当a.requires_grad=False是copy_()方法会报错）参考资料 https://blog.csdn.net/qq_40438388/article/details/106860180

8825 0

【深度学习】翻译：60分钟入门PyTorch（二）——Autograd自动求导

optim = torch.optim.SGD(model.parameters(), lr=1e-2, momentum=0.9) 最后，我们调用.step()来执行梯度下降，优化器通过存储在.grad...Q.backward(gradient=external_grad) 现在梯度都被存放在a.grad和b.grad中 # 检查一下存储的梯度是否正确 print(9*a**2 == a.grad) print...的梯度是雅可比矩阵：一般来说，torch.autograd是一个计算雅可比向量积的引擎。也就是说，给定任何向量?=(?1?2...??)?，计算乘积?⋅?。如果?恰好是标量函数的梯度?=?(?⃗...注意 DAG在PyTorch中是动态的。值得注意的是图是重新开始创建的; 在调用每一个``.backward()``后，autograd开始填充一个新图，这就是能够在模型中使用控制流语句的原因。...# 只优化分类器 optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9) 注意，尽管我们注册了优化器中所有参数，但唯一参与梯度计算

1.4K1 0

PyTorch 的 10 条内部用法

张量：构建模块 PyTorch 中的张量是多维数组。它们与 NumPy 的 ndarray 类似，但可以在 GPU 上运行。...动态计算图 PyTorch 使用动态计算图，这意味着该图是在执行操作时即时构建的。这为在运行时修改图形提供了灵活性。....], requires_grad=True) # Compute result c = a * b c.backward() # Gradients print(a.grad) # Gradient...loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) 7.

1891 0

用二叉树实现自动求导（Python版）

\ w \ + -- z / / b 这样就形成了一个由二叉树表示的计算图，其中z是根节点...Tensor(1.0) b = Tensor(2.0) c = a * b + a / b - a * a * a c.backward() print("grad \na:{} b:{}".format(a.grad...Linear_regression: def __init__(self): self.w = Tensor(1.0) self.b = Tensor(1.0) self.lr...(Tensor(n) - yp) * (Tensor(n) - yp) loss.backward() self.w -= self.lr...* Tensor(self.w.grad) self.b -= self.lr * Tensor(self.b.grad) self.w.grad

7634 1

【Pytorch 】笔记二：动态图、自动求导及逻辑回归

，跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来，我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架...print("gradient:\n", w.grad, x.grad, a.grad, b.grad, y.grad) ## 结果： is_leaf: True True False False...print("gradient:\n", w.grad, x.grad, a.grad, b.grad, y.grad) ## 结果：a的梯度被保留了下来 gradient: tensor([5....毕竟没有谁做一件事情之前就能把所有的流程都能规划好，一般人都是有一个大体的框架，然后一步一步边走边调整。..."""选择优化器""" lr = 0.01 optimizer = torch.optim.SGD(lr_net.parameters(), lr=lr, momentum=0.9) 迭代训练模型这里就是我们的迭代训练过程了

1.6K5 0

超参数之LearningRate

Gardient Descent 关于Gradient descent 算法,不打算细说概念,公式什么的.贴一张Andrew的PPT: ?...SGD和minibatch-SGD Stochastic Gradient Descent是随机梯度下降,每次计算只用一个随机样本 minibatch-SGD 一次采用batch size的样本做梯度...一个选择学习率的方法是:以一个低LR开始训练网络,在之后每个batch中指数提高LR,记录每批batch的LR和loss.然后绘制Loss和LR的关系图,从图中找取使Loss最低的LR....用于计算衰减 decay_steps 衰减的周期,每过decay_steps步后做一次衰减 decay_rate 每次衰减倍率,用初始LR * decay_rate staircase 阶梯状衰减计算原理是...,则global_step / decay_steps是整除,衰减的LR就遵循阶梯函数.

2.3K1 1

【模型训练】如何选择最适合你的学习率变更策略

02学习率变更策略学习率是一个非常重要的参数，可以直接影响模型的收敛与否。不同的学习率变更策略也会影响最终的迭代结果。下面以sgd优化方法，来介绍各种策略。...2.6 poly new_lr = base_lr * (1 – iter/maxiter) ^ (power)，可以看出，学习率曲线的形状主要由参数power的值来控制。...当power 1的时候，学习率曲线是凹的，且下降速率由快到慢。 ?...虽然学习率的变化是最离散的，但是并不影响模型收敛到比较好的结果。其次是exp，poly。...否则，其他的提高精度的措施做的再到位，也很可能因此而废。至于exp，inv，poly什么的，鄙人经验，貌似中看不中用。

7731 0

跬步神经网络：基本模型解析

微积分什么的早丢了，边看边查，记录备忘。本篇主要是针对最基本的网络模型，解释反向传播（backpropagation）原理。...整个神经网络可以理解成变量是所有 w、b的损失函数 L，L（w1,b1,w2,b2,w3,b3.......）。...为求L的极小值，使用梯度下降的方法，对每个变量求偏导，算出 Δw、Δb，更新 w = w - lr Δw，b = b - lr Δb ，其中lr 是步长（learning rate）。...链式法则：借一张图梯度下降：求导或偏导得到斜率确定变化值，更新变量得到新的值，重复上面的操作，直到斜率为0或小于设置的某个阈值（比如0.000001） x = x - lrΔx，y = y - lrΔy...，其中lr 是步长 NN网络举个栗子：神经元：激活函数、损失函数：网络结构：根据上面的网络结构以及定义，可以得到：为了更新 W24、W25，需要求 E关于W24、W25的偏导：

8612 0

跬步神经网络1-基本模型解析

微积分什么的早丢了，边看边查，记录备忘。本篇主要是针对最基本的网络模型，解释反向传播（backpropagation）原理。...目录跬步神经网络1-基本模型解析跬步神经网络2-C++简单实现跬步神经网络3-MNIST手写库初步识别整个神经网络可以理解成变量是所有 w、b的损失函数 L，L（w1,b1,w2,b2,...为求L的极小值，使用梯度下降的方法对每个变量求偏导，算出 **Δw、Δb 更新 w = w - lr Δw b = b - lr Δb lr 是步长（learning rate）激活函数...梯度下降：求导或偏导得到斜率确定变化值，更新变量得到新的值，重复上面的操作，直到斜率为0或小于设置的某个阈值（比如0.000001） x = x - lrΔx y =...y - lrΔy lr 是步长 NN网络举个栗子：神经元： ?

5599 0

深度学习如何调参？

现在的工作内容主要就是使用CNN做CV任务. 干调参这种活也有两年时间了. 我的回答可能更多的还是侧重工业应用, 技术上只限制在CNN这块....就我们调参狗能遇到的问题, NN没法拟合的, 这概率是有多小★ 你可以不这么做, 但是等你数据准备了两天, 结果发现有问题要重新生成的时候, 你这周时间就酱油了. 2..... ★ 如果有个复杂点的任务, 刚开始, 是需要人肉盯着调LR的....简短的注意事项: ★ 1、预处理: -mean/std zero-center就够了, PCA, 白化什么的都用不上....结构什么的觉得可能有效果, 可以拿去试试. ★ 16、你有95%概率不会使用超过40层的模型. ★ 17、shortcut的联接是有作用的. ★ 18、暴力调参最可取, 毕竟, 自己的生命最重要.

5944 0

深度学习如何调参？

现在的工作内容主要就是使用CNN做CV任务. 干调参这种活也有两年时间了. 我的回答可能更多的还是侧重工业应用, 技术上只限制在CNN这块....就我们调参狗能遇到的问题, NN没法拟合的, 这概率是有多小? ★ 你可以不这么做, 但是等你数据准备了两天, 结果发现有问题要重新生成的时候, 你这周时间就酱油了. ? 2..... ★ 如果有个复杂点的任务, 刚开始, 是需要人肉盯着调LR的....简短的注意事项: ★ 1、预处理: -mean/std zero-center就够了, PCA, 白化什么的都用不上....结构什么的觉得可能有效果, 可以拿去试试. ★ 16、你有95%概率不会使用超过40层的模型. ★ 17、shortcut的联接是有作用的. ★ 18、暴力调参最可取, 毕竟, 自己的生命最重要.

4994 0

百度机器学习实习三面试题及经验

这方面问的很细，比如说xgboost可以并行加速是怎么进行的，每次分裂叶子节点是怎么决定特征和分裂点的。 2、LR手推，包括极大似然的概念，为什么极大似然的时候可以相乘，满足独立同分布？...8、LR和SVM的区别。 9、SVM为什么可以处理非线性问题。一面过了，主要是面试官人很好。说我代码要加强，有思路但是写得很慢。二面：和二面的小哥哥聊的挺开心的，人也很好。...5、开放题，楼主不是做nlp的但是问了中国到中华人民共和国这种模糊搜索怎么办，小哥哥一直在引导，人真的很好。 6、手推LR（楼主真的很幸运，两次题目居然一样，开心的答了）。...三面：三面感觉是个技术大牛在问，很深入，露珠其实算起来是第二次面试，经验准备都很少，答得很烂。 1、亿级文件，每一行是一个字符串，单个文件中，字符串没有重复，两个文件中取交集。...4、xgboost什么的深入问了下。 5、代码题，很简单但露珠说了二分，代码写了很久，我真的好渣啊T,T。反转数组求最小。三面结束回去等消息，明显可以感到三面对露珠很不满意了TAT。

1.2K1 0

出场率No.1的逻辑回归算法，是怎样“炼成”的？

0x00 前言逻辑回归（Logistic Regression，LR）。在Kaggle竞赛的统计中，LR算法以63.5%的出产率，荣获各领域中“出场率最高的算法”这一殊荣。...比如某银行使用逻辑回归做风控模型，先设置一个阈值0.5，如果得到它逾期的概率大于0.5，就不放款；否则就放款。对于“放款” or “不放款”来说，实际上是一个标准的分类问题。...逻辑回归只能解决二分类问题，如果是多分类问题，LR本身是不支持的。对于线性回归来说，通过传递的自变量x来计算预测值：。其中实际上就是参数与样本的矩阵相乘，。...这个模型在学术上被称作是probit回归（虽然是名字中有“回归”两个字，但是实际上解决的还是分类问题）。...因此直接在probit回归上做参数估计是比较困难的。但是好在我们可以对其做近似，让其在数学上更加简洁。此时，神奇的数学家们发现：正态分布在线性变换下保持稳定，而逻辑分布可以很好地近似正态分布。

7152 1

如何规划性能测试拓扑

实际上，针对特定的性能测试需求，建立多大规模的性能测试机群才算合理，与多个因素有关，包括：测试机的软硬件配置、测试机的数量、脚本的复杂程度、网络的情况等。...windows XP 1CPU 1GB内存标准配置的最大CPU瓶颈虚拟用户为： Total Vusers=100/2.2*50*80%*80%=1454（个虚拟用户）客户端网络瓶颈估算　　网络瓶颈是一个重要但又经常被忽视的瓶颈因素...一般，网络的瓶颈安全系数为80%，那么实际上LR可用的瓶颈宽带为： Available bandwidth = 12.5 * 80% =10M Bytes 　　当前局域网内本机可并发的最大用户数为 LR...由于LR运行在操作系统上，操作系统内存也随着压力的发起而增大，当内存增大到一定程度的时候，虚拟内存就会被创建，这时就会进一步提高CPU的占用率和IO吞吐量，实际上形成客户端的瓶颈。...因此，做如下假设：　　1、LR运行时，操作系统占用内存25%。　　2、在物理内存使用率到达85%时，将会创建虚拟内存（可以查看windows和linux相关swap参数设置）。

1.3K6 0

线性回归，核技巧和线性核

在这篇文章中，我想展示一个有趣的结果：线性回归与无正则化的线性核ridge回归是等价的。这里实际上涉及到很多概念和技术，所以我们将逐一介绍，最后用它们来解释这个说法。首先我们回顾经典的线性回归。...我们经常说我们有n个向量记录在m特征空间中我们的目标是找到使平方误差最小的值这个问题实际上有一个封闭形式的解，被称为普通最小二乘问题。...唯一的条件是我们只需要在高维空间中做点积。 实际上有一些强大的数学定理描述了产生这样的变换和/或这样的核函数的条件。...这就是核函数的诀窍:当计算解'时，注意到X '与其转置的乘积出现了，它实际上是所有点积的矩阵，它被称为核矩阵线性核化和线性回归最后，让我们看看这个陈述:在线性回归中使用线性核是无用的，因为它等同于标准线性回归...最后，我证明了线性回归背景下的线性核实际上是无用的，它对应于简单的线性回归。作者：Yoann Mocquin

1983 0

深入理解Linux内核之主调度器（下）

注：这里的上下文实际上是指进程运行时最小寄存器的集合。如果切换的next进程不是同一个进程，才进行切换： __schedule i f (likely(prev !...next进程是内核线程，如果是则不需要进行地址空间切换（实际上指的是用户地址空间），因为内核线程总是运行在内核态访问的是内核地址空间，而内核地址空间是所有的进程共享的。...需要注意的是： mov sp, x9 做了切换进程内核栈的操作。 ldr lr, [x8] 设置了链接寄存器，然后ret的时候会将lr恢复到pc从而真正完成了执行流的切换。...5.1 关于lr地址的设置 1）如果切换的next进程是刚fork的进程，它并没有真正的这些调度上下文的存在，那么lr是什么呢？这是在fork的时候设置的： do_fork ......2）如果是之前已经被切换过的进程，lr为cpu_switch_to调用的下一条指令地址(这里实际上是__schedule函数中调用barrier（）的指令地址)。

1.1K2 0

软件测试|测试开发之路--UI 自动化常用设计模式

但实际上我最常用的还是简单工厂，偶尔用工厂模式抽象工厂基本没用过。使用设计模式的时候最容易出现的是过度设计，把过于复杂的模式硬搬到项目中来。这是不可取的。那接下来说一说这个工厂存在的意义吧。...这样做的好处是：代码复用，我们使用工厂的来创建的东西一般都是比较复杂的，需要很多的步骤才能创建。如果只是随便 new 一下就可以得到的对象也就犯不着专门搞个工厂方法了。...一般提到单例模式，基本上就是懒汉式，饿汉式什么的。但这两种大概率都是不可用的。因为首先我们的操作是延迟加载的，只有到了使用的时候才会去 UI 上执行创建模型的操作。...setFileConfig所以实际上调用方要做的事情就是这样的图片模板模式的优点：代码复用， UI 上很多操作路径都是重复的，甚至说不同的业务流程操作中的部分页面使用的是相同的页面。...如下：图片为什么这么做呢，因为对于所有要测试模型训练的 case 来说。图形是固定的，某些算法也是固定的。

4446 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭