腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据派THU

专栏作者

2139

文章

1933054

阅读量

188

订阅数

独家｜pytorch模型性能分析和优化

pytorch 模型性能性能分析优化

照片由 Torsten Dederichs 拍摄，上传到 Unsplash

2023-09-07

6410

DDPG强化学习的PyTorch代码实现和逐步讲解

强化学习 pytorch 代理模型网络

来源：Deephub Imba本文约4300字，建议阅读10分钟本文将使用pytorch对其进行完整的实现和讲解。深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)是受Deep Q-Network启发的无模型、非策略深度强化算法，是基于使用策略梯度的Actor-Critic，本文将使用pytorch对其进行完整的实现和讲解。 DDPG的关键组成部分是 Replay Buffer Actor-Critic neural network Explorati

2023-04-05

5200

100行Pytorch代码实现三维重建技术神经辐射场 (NeRF)

渲染 pytorch 函数模型优化

来源：Deephub Imba本文约3300字，建议阅读9分钟本文通过100行的Pytorch代码实现最初的 NeRF 论文。提起三维重建技术，NeRF是一个绝对绕不过去的名字。这项逆天的技术，一经提出就被众多研究者所重视，对该技术进行深入研究并提出改进已经成为一个热点。不到两年的时间，NeRF及其变种已经成为重建领域的主流。 NeRF全称为Neural Radiance Fields(神经辐射场)，是一项利用多目图像重建三维场景的技术。该项目的作者来自于加州大学伯克利分校，Google研究院，以及加州大

2023-04-03

5240

使用PyTorch-LSTM进行单变量时间序列预测的示例教程

pytorch 变量教程模型数据

来源：Deephub Imba 本文约4000字，建议阅读10分钟在本教程中，我们将使用PyTorch-LSTM进行深度学习时间序列预测。时间序列是指在一段时间内发生的任何可量化的度量或事件。尽管这听起来微不足道，但几乎任何东西都可以被认为是时间序列。一个月里你每小时的平均心率，一年里一只股票的日收盘价，一年里某个城市每周发生的交通事故数。在任何一段时间段内记录这些信息都被认为是一个时间序列。对于这些例子中的每一个，都有事件发生的频率(每天、每周、每小时等)和事件发生的时间长度(一个月、一年、一天等)。

2023-03-29

9790

在 PyTorch 中使用梯度检查点在GPU 上训练更大的模型

pytorch gpu 模型内存数据

来源：Deephub Imba 本文约3200字，建议阅读7分钟本文将介绍解梯度检查点（Gradient Checkpointing），这是一种可以让你以增加训练时间为代价在 GPU 中训练大模型的技术。我们将在 PyTorch 中实现它并训练分类器模型。作为机器学习从业者，我们经常会遇到这样的情况，想要训练一个比较大的模型，而 GPU 却因为内存不足而无法训练它。当我们在出于安全原因不允许在云计算的环境中工作时，这个问题经常会出现。在这样的环境中，我们无法足够快地扩展或切换到功能强大的硬件并训练模型。

2023-03-29

6190

使用 Temporal Fusion Transformer 进行时间序列预测

pytorch github git 开源编程算法

来源：DeepHub IMBA 本文约3700字，建议阅读7分钟本文我们解释了TFT的理论知识并且使用它进行了一个完整的训练和预测流程。目前来看表格类的数据的处理还是树型的结构占据了主导地位。但是在时间序列预测中，深度学习神经网络是有可能超越传统技术的。为什么需要更加现代的时间序列模型？专为单个时间序列（无论是多变量还是单变量）创建模型的情况现在已经很少见了。现在的时间序列研究方向都是多元的，并且具有各种分布，其中包含更多探索性因素包括：缺失数据、趋势、季节性、波动性、漂移和罕见事件等等。通过直接

2022-10-09

1.7K0

独家 | 使用ONNX搭建NLP Transformers pipelines

pytorch 腾讯云测试服务 NLP 服务 github git

作者：Thomas Chaigneau 翻译：欧阳锦校对：和中华本文约3000字，建议阅读7分钟本文介绍了如何使用ONNX构建真实世界的NLP应用。如何用ONNX构建真实世界的NLP应用，而不仅仅是为了张量做基准测试。图片源自网络 ONNX是一种用于神经网络的机器学习格式。它是可移植的，开源的，并且在不牺牲准确性的情况下提高推理速度，真的很厉害。我发现了很多关于ONNX基准的文章，但没有一篇文章介绍将其用于真实世界NLP任务的简便方法。我还在Hugging Face的discord server

2022-10-09

8180

工业应用中如何选取合适的损失函数（MAE、MSE、Huber）-Pytorch版

pytorch 机器学习神经网络深度学习人工智能

来源：计算机视觉与机器学习作者丨小可乐大魔王@知乎https://zhuanlan.zhihu.com/p/378822530本文约2800字，建议阅读5分钟文章总结了如何针对应用场景选择合适损失函数、对比不同损失函数的优缺点及相关pytorch代码。先上结果：图片截选自本文末尾正文：无论在机器学习还是深度学习领域中,损失函数都是一个非常重要的知识点。损失函数有许多不同的类型，根据具体模型和应用场景需要选择不同的损失函数，如何选择模型的损失函数，是作为算法工程师实践应用中最基础也是最关键的能力之一

2022-10-09

1K0

Pytorch创建多任务学习模型（附代码）

pytorch 自动驾驶无人驾驶机器学习深度学习

来源：DeepHub Imba 本文约2500字，建议阅读5分钟本文我们介绍如何在Pytorch中实现一个更简单的HydraNet。在机器学习中，我们通常致力于针对单个任务，也就是优化单个指标。但是多任务学习(MTL)在机器学习的许多应用中都取得了成功，从自然语言处理和语音识别到计算机视觉和药物发现。 MTL最著名的例子可能是特斯拉的自动驾驶系统。在自动驾驶中需要同时处理大量任务，如物体检测、深度估计、3D重建、视频分析、跟踪等，你可能认为需要10个以上的深度学习模型，但事实并非如此。 Hydra

2022-10-09

1.4K0

独家 | 兼顾速度和存储效率的PyTorch性能优化（2022）

pytorch 深度学习架构设计

作者：Jack Chih-Hsu Lin翻译：陈之炎校对：王紫岳本文约4600字，建议阅读9分钟18个必须知道的PyTorch提速秘籍：工作原理和方法。调整深度学习管道如同找到合适的齿轮组合（图片来源：Tim Mossholder）为什么要阅读本博？深度学习模型的训练/推理过程涉及到多个步骤。在时间和资源受限的情况下，实验迭代速度越快，越能优化模型的预测性能。本博收集整理了些许能够最大限度提高内存效率以及最小化运行时间的PyTorch的技巧和秘籍。但为了更好地利用这些技巧，我们还需要了解它的工

2022-09-07

1.2K0

更简单的掩码图像建模框架SimMIM介绍和PyTorch代码实现

tcp/ip pytorch 网络安全监督学习 https

来源：DeepHub IMBA本文约4000字，建议阅读10+分钟本文中我们介绍了 SimMIM，这是一种受掩码建模启发的强大 SSL 算法，其中一部分输入数据被掩码，模型的目标是最小化重建损失。 MAE发布以来，各种使用掩码技术的自监督掩码模型在其基础之上有了更进一步的研究。在本文中我们将探索一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院，并在PyTorch中编写它，最后我们也会提供相关的代码。 Sim

2022-08-29

5600

独家 | 如何在GPU资源受限情况下微调超大模型

神经网络 pytorch 深度学习

作者：Stanislav Belyasov 翻译：陈之炎校对：赵茹萱本文约4000字，建议阅读8分钟本文给出了高效使用内存的关键概念，它适用于多种艰巨的任务。在训练模型过程中，细数那些完胜“CUDA 内存出错..”报错的提高内存效率技术。提问：模型大小超过GPU 容量怎么办？本文的灵感来自于Yandex数据分析学院教授的“高效深度学习系统”课程。预备知识：假设读者已经了解神经网络的前传递和后向传递的工作原理，这对理解本文内容至关重要。文中使用PyTorch作为框架。开始吧！当试图使用大型模

2022-08-29

1.8K0

使用内存映射加快PyTorch数据集的读取

编程算法 numpy pytorch https github

来源：DeepHub IMBA本文约1800字，建议阅读9分钟本文将介绍如何使用内存映射文件加快PyTorch数据集的加载速度。在使用Pytorch训练神经网络时，最常见的与速度相关的瓶颈是数据加载的模块。如果我们将数据通过网络传输，除了预取和缓存之外，没有任何其他的简单优化方式。但是如果数据本地存储，我们可以通过将整个数据集组合成一个文件，然后映射到内存中来优化读取操作，这样我们每次文件读取数据时就不需要访问磁盘，而是从内存中直接读取可以加快运行速度。什么是内存映射文件内存映射文件（memory-

2022-08-29

8160

【干货书】深度强化学习Python实战：算法的简洁实现，简化数学，以及TensorFlow和PyTorch的使用

pytorch tensorflow python 强化学习

来源：专知本文为书籍推荐，建议阅读5分钟读完这本书，读者将对现代强化学习及其应用有一个全面、直观的了解。本书介绍使用Python, PyTorch和TensorFlow来进行深度强化学习实战 https://www.barnesandnoble.com/w/practical-deep-reinforcement-learning-with-python-ivan-gridin/1141794632 关键特性 ●接触著名的RL技术，包括蒙特卡洛、深度Q -学习、策略梯度和角色关键。使用TensorFl

2022-08-29

4440

UNet 和 UNet++：医学影像经典分割网络对比

https 图像处理网络安全 pytorch

来源：极市平台本文约3000字，建议阅读5分钟本文介绍了医学影像经典分割网络的对比。介绍语义分割是计算机视觉的一个问题，我们的任务是使用图像作为输入，为图像中的每个像素分配一个类。在语义分割的情况下，我们不关心是否有同一个类的多个实例(对象)，我们只是用它们的类别来标记它们。有多种关于不同计算机视觉问题的介绍课程，但用一张图片可以总结不同的计算机视觉问题：语义分割在生物医学图像分析中有着广泛的应用：x射线、MRI扫描、数字病理、显微镜、内窥镜等。https://grand-challenge.or

2022-05-23

1.1K0

图像预训练模型的起源解说和使用示例

pytorch 迁移学习图像识别机器学习深度学习

来源：Deephub Imba本文约3500字，建议阅读14分钟本文文章简要介绍了研究人员在图像识别算法和图像数据方面的演变，并总结了现在的一些热门话题。三十多年来，许多研究人员在图像识别算法和图像数据方面积累了丰富的知识。如果你对图像训练感兴趣但不知道从哪里开始，这篇文章会是一个很好的开始。这篇文章简要介绍了过去的演变，并总结了现在的一些热门话题。 ImageNet 预训练模型迁移学习（热门话题）使用预训练模型识别未知图像 PyTorch ImageNet 的起源在 2000 年代初期，大多数

2022-05-05

5050

让模型训练速度提升2到4倍，「彩票假设」作者的这个全新PyTorch库火了

composer pytorch 深度学习 github git

来源：机器之心本文约3000字，建议阅读10分钟本文介绍了MosaicML 推出了一个用于高效神经网络训练的 PyTorch 库「Composer」。登陆 GitHub 以来，这个项目已经收获了 800 多个 Star。随着越来越多的企业转向人工智能来完成各种各样的任务，企业很快发现，训练人工智能模型是昂贵的、困难的和耗时的。一家公司 MosaicML 的目标正是找到一种新的方法来应对这些层出不穷的挑战。近日， MosaicML 推出了一个用于高效神经网络训练的 PyTorch 库「Composer」

2022-04-22

6410

用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理

pytorch python 深度学习缓存

来源：机器之心本文约5200字，建议阅读10+分钟深度学习是门玄学？也不完全是。每个人都想让模型训练得更快，但是你真的找对方法了吗？在康奈尔大学本科生、曾在 PyTorch 团队实习的 Horace He 看来，这个问题应该分几步解决：首先，你要知道为什么你的训练会慢，也就是说瓶颈在哪儿，其次才是寻找对应的解决办法。在没有了解基本原理（第一性原理）之前就胡乱尝试是一种浪费时间的行为。在这篇文章中，Horace He 从三个角度分析可能存在的瓶颈：计算、内存带宽和额外开销，并提供了一些方式去判断当前处于哪

2022-04-13

5270

TensorFlow和Pytorch中的音频增强

tensorflow 神经网络 numpy pytorch

来源：Deephub Imba本文约2100字，建议阅读9分钟本文将介绍如何将增强应用到 TensorFlow 中的数据集的两种方法。对于图像相关的任务，对图像进行旋转、模糊或调整大小是常见的数据增强的方法。因为图像的自身属性与其他数据类型数据增强相比，图像的数据增强是非常直观的，我们只需要查看图像就可以看到特定图像是如何转换的，并且使用肉眼就能对效果有一个初步的评判结果。尽管增强在图像域中很常见，但在其他的领域中也是可以进行数据增强的操作的，本篇文章将介绍音频方向的数据增强方法。在这篇文章中，将介绍

2022-04-11

1K0

【干货书】Pytorch创建和部署深度学习应用

pytorch 深度学习

来源：专知本文为书籍，建议阅读5分钟下一步，我们将学习深度学习，这种机器学习方法将在瞬间改变我们周围的世界。下一步，我们将学习深度学习，这种机器学习方法将在瞬间改变我们周围的世界。在这本实用的书中，您将加快使用Facebook的开源PyTorch框架的关键思想，并获得您需要创建自己的神经网络的最新技能。 Ian Pointer向您展示了如何在基于云的环境中设置PyTorch，然后带领您完成神经架构的创建，以方便对图像、声音、文本的操作，并深入了解每个元素。他还涵盖了将迁移学习应用到图像、调试模型和生产中

2022-03-21

6320

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态