腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习自然语言处理

专栏作者

1012

文章

1190963

阅读量

161

订阅数

DataParallel里为什么会显存不均匀以及如何解决

https 网络安全批量计算 pytorch github

鉴于网上此类教程有不少模糊不清，对原理不得其法，代码也难跑通，故而花了几天细究了一下相关原理和实现，欢迎批评指正！

2023-03-03

1K0

啥？Pytorch 独立出来了？？

html linux 开源 pytorch kubernetes

每天给你送来NLP技术干货！ ---- 来自：DASOU、量子位大家好，我是DASOU；看到一个消息，说PyTorch现在已经从Meta“独立”出来了；扎克伯格成立了PyTorch基金会，并且将其归入Linux基金会旗下。 Meta这个操作还是挺6的，估摸着就是想给大家一种Pytorch和商业化不占别，保持中立的印象~~从而吸引更多人去使用Pytorch。说起来，Pytorch最近是越来越受欢迎。如果说深度学习最开始的几年，TF一家独大。那么这几年，其实不论是学术界还是工业界，Pytorch已经在慢

2022-09-14

2120

当代研究生应当掌握的并行训练方法（单机多卡）

pytorch https 网络安全 github git

每天给你送来NLP技术干货！ ---- 排版：AI算法小喵 1. Take-Away 笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例（单机多卡）。需要的同学可以当作 quickstart 将所需要的部分 copy 到自己的项目中（Github 请点击下面链接）： nn.DataParallel[1] 简单方便的 nn.DataParallel torch.distributed[2] 使用 torch.distributed 加速并行训练 torch.multiprocessi

2022-08-26

1.5K0

PyTorch 的 Autograd详解

pytorch 编程算法 tensorflow 深度学习

每天给你送来NLP技术干货！地址 | https://zhuanlan.zhihu.com/p/69294347作者 | xiaopl@知乎编辑 | 极市平台 PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？我觉得一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。了解自动求导背后的原理和规则，对我们写出一个更干净整洁甚至更高效的 PyT

2022-08-26

4760

PyTorch 常用 Tricks 总结

https 网络安全 pytorch 深度学习 NLP 服务

每天给你送来NLP技术干货！ ---- 炼丹笔记编辑 z.defying@DataWhale 1. 指定GPU编号设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0： os.environ["CUDA_VISIBLE_DEVICES"] = "0" 设置当前使用的GPU设备为0, 1号两个设备，名称依次为 /gpu:0、/gpu:1： os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" ，根据顺序表示优先使用0号设备,然后使用1号设备。指定GP

2022-08-26

5640

2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？

keras pytorch tensorflow 深度学习 ajax

现在各大顶会开源代码没有一丝丝的tensorflow2.x，就连谷歌家自己的论文也是只有torch和jax。零零星星一些tf1的开源代码。

2021-06-17

8350

【实践】Pytorch nn.Transformer的mask理解

批量计算编程算法 css pytorch

pytorch也自己实现了transformer的模型，不同于huggingface或者其他地方，pytorch的mask参数要更难理解一些（即便是有文档的情况下），这里做一些补充和说明。（顺带提一句，这里的transformer是需要自己实现position embedding的，别乐呵乐呵的就直接去跑数据了）

2021-04-08

3.5K0

pytorch的余弦退火学习率

批量计算 pytorch 官方文档

最近深入了解了下pytorch下面余弦退火学习率的使用.网络上大部分教程都是翻译的pytorch官方文档，并未给出一个很详细的介绍,由于官方文档也只是给了一个数学公式，对参数虽然有解释，但是解释得不够明了，这样一来导致我们在调参过程中不能合理的根据自己的数据设置合适的参数.这里作一个笔记，并且给出一些定性和定量的解释和结论.说到pytorch自带的余弦学习率调整方法，通常指下面这两个

2020-11-19

3.4K0

PyTorch Trick集锦

pytorch https 网络安全深度学习

Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。

2020-09-04

6250

【入门】PyTorch文本分类

NLP 服务 pytorch

文本分类是NLP领域的较为容易的入门问题，本文记录文本分类任务的基本流程，大部分操作使用了torch和torchtext两个库。

2020-02-18

1.7K0

【PyTorch】推荐收藏！史上最全的 PyTorch trick 集锦

pytorch https NLP 服务网络安全

Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。

2019-12-06

1.2K0

【Pytorch】谈谈我在PyTorch踩过的12坑

pytorch python 批量计算

1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异

2019-11-14

1.7K0

Pytorch有什么节省内存（显存）的小技巧？

https 网络安全 pytorch github 神经网络

作者：Lyken https://www.zhihu.com/question/274635237/answer/755102181

2019-10-28

2.2K0

【干货】PyTorch Tricks 集锦

https 网络安全 pytorch 缓存编程算法

设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0： os.environ["CUDA_VISIBLE_DEVICES"] = "0"

2019-10-11

8900

【推荐】不到100行实现的全面NLP教程（pytorch+tensorflow）

NLP 服务 pytorch github git 开源

作者在每一个模型中，都用了一种实例来表示实现该模型，比如句子分类、机器翻译等。每个案例都对应一篇论文，大家可以对应论文再结合百行不到的代码，我相信你的理论与实践会进步的飞快的！

2019-07-12

1.8K0

大家都收藏了的最新开源项目Top12！CV、NLP、机器学习一应俱全

开源机器学习 tensorflow 强化学习 pytorch

【导读】作者整理了近期最新发布及更新的 12 个非常有学习和收藏意义的开源项目。这些项目中包括基于 TensorFlow 的强化学习框架；可以对数据进行结构化处理的 AutoML 库；支持 TensorFlow，PyTorch，MXNet，CNTK 和 Caffe2 等多种深度学习框架的模型部署框架；可以帮助用户分析训练模型的工具；强大的人脸标记开源项目等等，可以说每一个项目都值得我们了解一下！接下来，我们就一起找到你喜欢的那一个，码起来！

2018-11-08

4870

word2vec理论与实践

https 网络安全 pytorch

导读本文简单的介绍了Google 于 2013 年开源推出的一个用于获取 word vector 的工具包（word2vec），并且简单的介绍了其中的两个训练模型（Skip-gram，CBOW），以及两种加速的方法（Hierarchical Softmax，Negative Sampling）。一、word2vec word2vec最初是由Tomas Mikolov 2013年在ICLR发表的一篇文章 Efficient Estimation of Word Representations in Ve

2018-04-10

8830

简单maxPooling单层网络句子分类框架和数学理论

为了完成我的基于深度学习的立场检测系统毕业论文，我会从最简单的Pooling单层网络开始系统学习句子分类。接下来会有卷积神经网络CNN层，循环神经网络RNN层等，以后更新。这些都是理论+实践代码(下期会给基于pytorch的python实现代码)。望大家发现错误积极指出，互相在自然语言处理道路上进步！ 1 数据清洗 2 分词英文的文本肯定不用这一步，中文就必须分词了。 3 词向量化这里我将用随机的向量化，一个词的维度为 n*1 4 句子向量化，标签01化假设句子 x 词的数量是m，那么它的向量

2018-04-10

5680

pyTorch基础入门练习

import导入 import torch#基本的torch函数 import torch.autograd as autograd#自动求导 import torch.nn as nn#神经网络类都在这个里面 import torch.nn.functional as F#几乎所有的激励函数 import torch.optim as optim#优化创建Tensors #create 1D vector V_data = [1., 2., 3.] V = torch.Tensor(V_data)#

2018-04-10

8050

pytorch自然语言处理之Pooling层的句子分类

pytorch NLP 服务

Pooling作为最简单的层其实也可以作为句子分类任务。Pooling有很多种，max_Pooling,avg_Pooling,min_Pooling等。常用的还是max_Pooling:取同维度的最

2018-04-10

7720

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态