腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

AutoML(自动机器学习)

该专栏文章如果出现格式问题，可以去http://www.cnblogs.com/marsggbo/

专栏作者

391

文章

565063

阅读量

55

订阅数

Pytorch 如何使用 storage 实现参数 offload？

存储 pytorch storage 内存数据

在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件。PyTorch 是一个广泛使用的开源机器学习库，它不仅提供了强大的计算图功能和自动梯度计算，还允许开发者直接操作底层数据结构，这其中就包括 Storage。

2024-04-22

620

NVIDIA GPU Cloud (NGC)集群使用笔记

容器镜像服务容器 pytorch

运行上面的命令后会进入container，你可以安装好所有需要的依赖库。安装好后执行如下命令即可退出container

2022-06-28

1.2K0

优秀开源AI框架推荐

github git https 网络安全 pytorch

AutoML全称是Automated Machine Learning，即自动机器学习，听起来是不是很酷，没错的确很酷，如果感兴趣的话可以读一下我们实验室写的AutoML综述： AutoML: A Survey of State-of-the-art。

2020-10-28

1.1K0

优秀开源AI框架推荐

github git https 网络安全 pytorch

AutoML全称是Automated Machine Learning，即自动机器学习，听起来是不是很酷，没错的确很酷，如果感兴趣的话可以读一下我们实验室写的AutoML综述： AutoML: A Survey of State-of-the-art。

2020-10-21

1.1K0

detectron2安装出现Kernel not compiled with GPU support 报错信息

深度学习 ide 打包 pytorch bash

在安装使用 detectron2 的时候碰到**Kernel not compiled with GPU support **问题，前后拖了好久都没解决，现总结一下以备以后查阅。

2020-06-12

1.2K0

重新定义Pytorch中的TensorDataset，可实现transforms

class TensorsDataset(torch.utils.data.Dataset): ''' A simple loading dataset - loads the tensor that are passed in input. This is the same as torch.utils.data.TensorDataset except that you can add transformations to your data and target tensor

2020-06-12

7660

Pytorch里的CrossEntropyLoss详解

pytorch class sum torch

首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F）。二者函数的区别可参见知乎:torch.nn和funtional函数区别是什么？

2020-06-12

2.7K0

torchline：让Pytorch使用的更加顺滑

pytorch github git 开源

相信大家平时在使用Pytorch搭建网络时，多少还是会觉得繁琐，因为我们需要搭建数据读取，模型，训练，checkpoints保存等等一系列模块。每当切换到新的任务后很多情况下之前的代码不能复用，或者说要复用就需要做很多地方的修改，到最后还不如重新写一遍。所幸，pytorch_lightning让这一过程简化了很多，相信如果你用过这个库你也会体验到它的方便性。但是torchline的存在是让你使用Pytorch更加的顺滑舒畅。

2020-06-12

4640

Tensorcore使用方法

tensorflow 深度学习容器 github pytorch

深度神经网络训练传统上依赖IEEE单精度格式，但在混合精度的情况下，可以训练半精度，同时保持单精度网络的精度。这种同时使用单精度和半精度表示的技术称为混合精度技术。

2020-06-12

2K0

Tensorcore使用方法

tensorflow 深度学习容器 pytorch github

深度神经网络训练传统上依赖IEEE单精度格式，但在混合精度的情况下，可以训练半精度，同时保持单精度网络的精度。这种同时使用单精度和半精度表示的技术称为混合精度技术。

2019-10-16

1.5K0

Pytorch autograd,backward详解

平常都是无脑使用backward，每次看到别人的代码里使用诸如autograd.grad这种方法的时候就有点抵触，今天花了点时间了解了一下原理，写下笔记以供以后参考。以下笔记基于Pytorch1.0

2019-09-19

1.5K0

Pytorch之Dataparallel源码解析

pytorch https github 网络安全 python

之前对Pytorch 1.0 的Dataparallel的使用方法一直似懂非懂，总是会碰到各种莫名其妙的问题，今天就好好从源头梳理一下，更好地理解它的原理或者说说下步骤。

2019-08-14

9870

一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系

pytorch 批量计算

首先我们看一下DataLoader.__next__的源代码长什么样,为方便理解我只选取了num_works为0的情况（num_works简单理解就是能够并行化地读取数据）。

2019-08-14

3.4K0

一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系

pytorch 批量计算

首先我们看一下DataLoader.next的源代码长什么样,为方便理解我只选取了num_works为0的情况（num_works简单理解就是能够并行化地读取数据）。

2019-08-06

1.3K0

Pytorch--Dropout笔记

dropout常常用于抑制过拟合，pytorch也提供了很方便的函数。但是经常不知道dropout的参数p是什么意思。在TensorFlow中p叫做keep_prob,就一直以为pytorch中的p应该就是保留节点数的比例，但是实验结果发现反了，实际上表示的是不保留节点数的比例。看下面的例子：

2019-05-26

1.8K0

【转载】PyTorch系列 (二)：pytorch数据读取

本文首先介绍了有关预处理包的源码，接着介绍了在数据处理中的具体应用；其主要目录如下：

2019-05-26

9710

Pytorch划分数据集的方法

pytorch java javascript

之前用过sklearn提供的划分数据集的函数，觉得超级方便。但是在使用TensorFlow和Pytorch的时候一直找不到类似的功能，之前搜索的关键字都是“pytorch split dataset”之类的，但是搜出来还是没有我想要的。结果今天见鬼了突然看见了这么一个函数torch.utils.data.Subset。我的天，为什么超级开心hhhh。终于不用每次都手动划分数据集了。 torch.utils.data Pytorch提供的对数据集进行操作的函数详见：https://pytorch.or

2019-05-26

4.3K0

【转载】PyTorch系列 (二): pytorch数据读取

本文首先介绍了有关预处理包的源码，接着介绍了在数据处理中的具体应用；其主要目录如下：

2019-03-08

2K0

Pytorch 各种奇葩古怪的使用方法

不间断更新。。。增减layer 增加layer 增加layer很方便，可以使用model.add_module('layer name', layer)。删减layer 删减layer很少用的到，之所以我会有这么一个需求，是因为我需要使用vgg做迁移学习,而且需要修改最后的输出。而vgg由两个部分组成：features和classifier，这两个部分都是torch.nn.Sequential，所以不能单独对其中某一层做修改。而如果对整个Sequential做修改，那么这个模型的参数会被初始化，而

2018-04-19

1.1K0

空间金字塔池化(Spatial Pyramid Pooling, SPP)原理和代码实现(Pytorch)

神经网络机器学习深度学习人工智能 pytorch

想直接看公式的可跳至第三节 3.公式修正一、为什么需要SPP 首先需要知道为什么会需要SPP。我们都知道卷积神经网络(CNN)由卷积层和全连接层组成，其中卷积层对于输入数据的大小并没有要求，唯一对

2018-03-28

10.2K1

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态