如何在pytorch中实现低维嵌入层
在PyTorch中实现低维嵌入层可以通过使用torch.nn.Embedding模块来实现。Embedding层用于将离散的输入（如单词或类别）映射到连续的低维向量表示。
下面是一个完整的实现示例：
import torch
import torch.nn as nn
# 定义嵌入层的输入维度和输出维度
input_dim = 1000 # 输入维度，例如词汇表的大小
output_dim = 100 # 输出维度，即嵌入向量的维度
# 创建嵌入层实例
embedding = nn.Embedding(input_dim, output_dim)
# 定义输入数据
input_data = torch.LongTensor([[1, 2, 3, 4], [5, 6, 7, 8]])
# 将输入数据传入嵌入层
embedded_data = embedding(input_data)
# 打印嵌入后的数据形状
print(embedded_data.shape)上述代码中，首先通过nn.Embedding创建了一个嵌入层实例，指定了输入维度和输出维度。然后，定义了一个输入数据input_data，它是一个LongTensor类型的张量，表示了需要进行嵌入的离散数据。接下来，将输入数据传入嵌入层，得到了嵌入后的数据embedded_data。最后，打印了嵌入后的数据形状。
嵌入层的优势在于它可以将高维的离散数据映射到低维的连续向量空间中，从而更好地表示数据之间的关系。它常用于自然语言处理（NLP）任务中，如词嵌入、句子嵌入等。
腾讯云提供了多种与PyTorch相关的产品和服务，例如云服务器、GPU实例、AI推理服务等，可以满足不同场景下的需求。具体的产品介绍和链接地址可以参考腾讯云官方文档：
- 腾讯云产品与服务：https://cloud.tencent.com/product
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- GPU实例：https://cloud.tencent.com/product/gpu
- AI推理服务：https://cloud.tencent.com/product/tci
以上是关于如何在PyTorch中实现低维嵌入层的完善且全面的答案。
相关·内容
我是Pytorch的新手，我正在尝试在Pytorch中训练一个MLP，以便从多组时间序列数据中对变量进行分类。< Example[time, a, b, c]:
{[0, 10, 15, 20] [1, 11, 17, 10] [2, 12, 12, 6]} -> 1
{[0, 10, 12, 9] [1, 15, 13, 0] [2, 18, 11, 7]} -> 2 现在，我正在将这些二维张量中的每一个重塑为一维(即0，10，15，20，1，11，17，10，2，12，12，6)，然后将它们放入数据加载器中，但我想知道是否可以将它们保持为二维，或
浏览 105提问于2020-08-12得票数 0
1回答
在连体网络中选择对比性损失的边际
、、、、
我正在为一个度量学习任务构建一个连体网络，使用一个对比损失函数，但我不确定如何设置损失的“差值”超参数。 我对损失函数的输入目前是来自RNN层的1024维密集嵌入-该输入的维度是否会影响我选择边距的方式？我是不是应该先用一个密集的层把它投射到一个低维的空间？任何关于如何挑选一个特定的保证金价值(或任何相关的研究)的建议都将受到感谢！如果重要的话，我使用PyTorch。
浏览 22提问于2019-02-27得票数 2
2回答
NN嵌入层
、、、、
一些神经网络库，如tensorflow和pytorch提供了嵌入层。在过去实现了word2vec之后，我理解了想要更低维度表示的原因。
然而，嵌入层似乎只是一个线性层。在所有其他条件相同的情况下，嵌入层难道不只是学习与等效线性层相同的权重吗？如果是这样，那么使用嵌入层的优点是什么？
在word2vec的情况下，低维表示可以用于其他任务(臭名昭著的国王/王后示例)。但是，如果您的嵌入层永远不会用于替代任务，那么它的目的是什么？
浏览 0提问于2018-05-31得票数 10
1回答
PyTorch的nn.Embedding支持只为特定值手动设置嵌入权重吗？
我知道我可以像这样设定整个嵌入层的权重-
emb_layer = nn.Embedding(num_embeddings, embedding_dim)
emb_layer.weights = torch.nn.Parameter(torch.from_numpy(weight_matrix))
但是，PyTorch是否提供了任何简洁有效的方法来为一个特定的值设置嵌入权值？
类似于emb_layer.set_weight(5) = torch.tensor([...])，只为值"5“手动设置嵌入吗？
浏览 10提问于2022-05-13得票数 0
回答已采纳
1回答
查看word2vec，比如嵌入，我在PyTorch的网站上找到了这练习，这促使读者在PyTorch中实现CBOW网络。
我的问题是实现这个CBOW网络的体系结构。
以下是我的理解:从多个来源来看，网络似乎应该有一个单独的隐藏层(有权重，没有偏见)，它连接到激活层(大多数消息来源说是softmax)。然后网络将被训练将一个热编码的单词映射到可能的上下文中。最后，将隐层的权值作为嵌入矩阵。
我的困惑是:我看到了许多解决方案，比如这是谷歌的第一个，其中有多个隐藏层。在这个例子中，有一个嵌入层，并且有一个由relu连接的两线性层。下面是另一个使用一个线性层的方法。
我的问题是：
培训CBOW编码的合适
浏览 0提问于2020-12-08得票数 1
最初，我们有一个多层的MLP。我们有一个200维的输入嵌入。现在，我们希望在原始嵌入中增加两个维度，以编码两个重要的特性。但由于原始维数较高，我们担心MLP忽略了两个新的维度，这两个维度是相当重要的。
因此，我们希望在MLP的最后两层之前添加两个新的维度。我仍然是一个新的学习ML和PyTorch，我已经在网上搜索了很多，但没有想出如何做到这一点。
我可以问一下如何使用PyTorch来实现这一点吗？非常感谢!
浏览 3提问于2022-01-16得票数 -2
回答已采纳
我是深度学习和Pytorch领域的新手。
最近，当我学习其中一个时，我发现nn.Embedding的嵌入在训练过程中发生了变化。
所以我的问题是，在训练网络的过程中，嵌入应该改变吗？
如果我想要将预先训练的嵌入(例如，经过训练的word2vec嵌入)加载到PyTorch嵌入层中，是否应该在训练过程中也更改预先训练的嵌入？
或者我如何阻止更新嵌入？
谢谢。
浏览 12提问于2019-08-01得票数 3
1回答
在编码器-译码器模型的构造之间，似乎存在着显著的、根本性的差异.这是，这是。
我注意到的一些不同之处如下：
Keras的模型直接向LSTM层提供输入。而Pytorch在编码器和解码器中都使用了嵌入层。
Pytorch使用在编码器中没有激活的嵌入层，但对解码器中的嵌入层使用relu激活。
鉴于这些意见，我的问题如下：
我的理解是这样的，对吗？嵌入层并不是严格要求的，但它有助于找到更好和更密集的输入表示。它是可选的，您仍然可以在没有嵌入层的情况下构建一个很好的模型(取决于问题)。这就是为什么Keras选择在这个特定示例中不使用它的原因。这是一个合理的理由，还是有更多的故事？
浏览 9提问于2020-06-09得票数 0
回答已采纳
我要从凯拉斯到PyTorch。I希望用GloVe向量创建一个PyTorch嵌入层(一个大小为V x D的矩阵，其中V超过词汇表，而D是嵌入向量维)，但对所需的步骤感到困惑。
在Keras中，通过让嵌入层构造函数接受一个weights参数：
# Keras code.
embedding_layer = Embedding(..., weights=[embedding_matrix])
当查看PyTorch和TorchText库时，我发现嵌入应该加载两次，一次在Field中，然后再在Embedding层中加载。下面是我发现的：
# PyTorch code.
# Create a field
浏览 3提问于2020-06-09得票数 5
回答已采纳
1回答
我在PyTorch中使用预先训练过的PyTorch模型和传输学习来分类我自己的数据集。这是很好的工作，但我认为我可以进一步提高我的分类性能。我们的图像有不同的尺寸，它们都被调整大小以适应我的模型的输入(例如，224x224像素)。
然而，原始图像大小通常表示该图像属于的类的很多。因此，我认为，添加原始图像维作为模型的第二输入可能会有所帮助。
目前，我在PyTorch中构建了这样的模型：
model = resnet50(pretrained=True) # Could be another base model as well
for module, param in zip(model.m
浏览 1提问于2022-01-24得票数 0
回答已采纳
4回答
我在Stackoverflow上查看了PyTorch教程和类似的问题。
我很困惑；pytorch中的嵌入()会使相似的单词彼此更接近吗？我只需要给它所有的句子吗？或者它只是一个查找表，而我需要对模型进行编码？
浏览 0提问于2018-06-08得票数 53
1回答
嗨，我想添加元素的乘法层复制输入到多个渠道，如下图。(因此，输入大小M和乘法滤波器大小M是相同的)，如下图所示
我想要添加自定义初始化值的过滤器，并希望他们得到梯度时，培训。但是，我无法在PyTorch中找到元素过滤层.我能行吗？或者在PyTorch中这是不可能的？
浏览 1提问于2018-08-23得票数 4
回答已采纳
1回答
我最近读了一篇关于嵌入的paper。 在等式中(3)，f是一个4096X1向量。作者试图通过使用嵌入矩阵E将矢量压缩为theta ( 20X1矢量)。 方程式很简单，theta = E*f 我想知道它是否可以使用pytorch来实现这个目标，那么在训练中，E可以自动学习。 如何完成剩下的部分？非常感谢。 演示代码如下： import torch
from torch import nn
f = torch.randn(4096,1)
浏览 23提问于2019-03-30得票数 4
回答已采纳
我一直在使用PyTorch进行文本分类，我遇到了一个一维卷积的问题。 我已经设置了一个维度的嵌入层(x，y，z)，其中:x-表示批量大小y-表示句子的长度(固定填充，因此为40个单词)z-预训练单词嵌入的维度(目前为100) 为了简单起见，让我们假设我放入一个矩阵(1,40,100) 然而，据我所知，一旦我执行了torch.nn.conv1d(*args)，结果矩阵就变成了(batch size = 1，word size = 40，feature map size = 98)，内核大小为3。 基本上，据我所知，它是围绕y轴而不是x轴卷积的，而且它没有捕捉到单词嵌入之间的空间关系。 有没有办
浏览 98提问于2019-03-19得票数 2
回答已采纳
我使用的是pytorch，这是huggingface transformers link的模型 from transformers import BertTokenizerFast, BertForSequenceClassification
bert = BertForSequenceClassification.from_pretrained("bert-base-uncased",
num_labels=int(data['class'].nuniq
浏览 282提问于2020-12-09得票数 3
我正在尝试适应PyTorch nn模块中的嵌入类。
我注意到还有很多人和我有同样的问题，因此在PyTorch讨论论坛和堆栈溢出上发布了一些问题，但我仍然有些困惑。
根据，传递的参数是num_embeddings和embedding_dim，它们分别表示我们的字典(或词汇表)有多大，以及我们希望嵌入的维度分别是多少。
我不明白的是我该怎么解释这些。例如，我运行的小练习代码：
import torch
import torch.nn as nn
embedding = nn.Embedding(num_embeddings=10, embedding_dim=3)
a = torch.Lon
浏览 7提问于2019-11-09得票数 1
回答已采纳
问题展示了如何在Pytorch中初始化权重。但是，Conv和Dense在Pytorch中的默认权重初始化器是什么？Pytorch使用什么发行版？
浏览 0提问于2018-04-13得票数 15
回答已采纳
这可能看起来像是X，Y问题，但最初我有大量的数据，并且我无法在给定的资源中进行训练(RAM问题)。所以我想我可以使用Pytorch的batch特性。但我想使用KNN，随机森林，聚类等方法，而不是深度学习。那么，我可以在Pytorch中使用scikit库吗？
浏览 41提问于2019-04-13得票数 1
1回答
我已经根据变量的变化维度更新了我的问题。
假设输入张量存储维数为10x3的3d点，10表示#点，3表示特征维(例如x、y、z坐标)。变量的维数取决于输入张量，例如它的维数为10x10。当输入张量将其维度更改为50x3时，变量的维数也必须更改为50x50。
我知道在Tensorflow中，如果输入维度正在变化/未知，我们可以将其声明为tf.placeholder(None,3)。但是，我从来没有遇到过变量大小变化/未知的情况，似乎变量总是有固定的维数。
我目前正在学习PyTorch，不知道PyTorch是否支持这个函数。如有任何信息，将不胜感激！
=========原始问题========
我有
浏览 2提问于2017-08-14得票数 0
nn.Embedding()对于学习LSTM是必不可少的吗？
我在PyTorch中使用LSTM来预测NER类似任务的例子在这里- 。
就代码而言，我使用的代码几乎与上述教程中的代码相同。
唯一的细节是-我使用的是word2Vec而不是nn.Embedding()。
因此，我删除了nn.Embedding()层，直接从word2Vec中提供了前向函数。RNN不学习。
因此，nn.Embedding()对于学习LSTM是必不可少的吗？
浏览 3提问于2018-05-14得票数 2
回答已采纳
我是Pytorch的新手。我学到了一些关于如何使用pytorch构建一个简单的NN模型的教程，例如(this one)。我发现他们更喜欢用nn.Embedding来编码分类特征。我的问题是：(1)为什么不使用一个热编码？(2) nn.Embedding是随机初始化的，我认为嵌入的数值不会被训练，因为它们被视为输入。如果nn.Embedding随机初始化分类特征，是否会对训练产生负面影响？
浏览 33提问于2020-09-11得票数 1
我正在使用PyTorch中的RNN构建一个文本分类器。我使用的嵌入是GLOVE。但是，我将可变长度索引引用提供给模型。这将导致可变长度嵌入，我认为这不会起作用。我如何解决这个问题，并使嵌入输出的所有句子的长度相同？
def forward(self, sentence):
embeds = self.embedding(sentence)
hidden = self.__init__hidden(size)
output, hidden = self.rnn(embeds, hidden)
out = self.hidden2o
浏览 12提问于2021-04-21得票数 3
我很难将代码从pytorch_pretrained_bert迁移到pytorch_transformers。我试着做一个余弦相似练习。我想提取12个隐藏层中第二个到最后一个的文本嵌入值。
import torch
from pytorch_pretrained_bert import BertTokenizer, BertModel
#from pytorch_transofmers import BertTokenizer, BertModel
import pandas as pd
import numpy as np
model = BertModel.from_pretrained(
浏览 3提问于2020-02-21得票数 0
回答已采纳
1回答
我试图弄清楚嵌入层是如何为预先训练的伯特基模型工作的。我正在使用火把，并试图解剖以下模型：
import torch
model = torch.hub.load('huggingface/pytorch-transformers', 'model', 'bert-base-uncased')
model.embeddings
这个BERT模型有199个不同的命名参数，其中前5个属于嵌入层(第一层)。
==== Embedding Layer ====
embeddings.word_embeddings.weight
浏览 0提问于2021-05-03得票数 3
回答已采纳
我感兴趣的是应用一个卷积内核，它只获得HxW参数，其中(H，W)是内核大小。内核仍然有维数CxHxW，就像普通卷积一样，但是在信道维数中参数是恒定的。
在PyTorch中有内置的选项吗？
浏览 3提问于2021-01-01得票数 0
回答已采纳
我想在分类层(我使用的是PyTorch lightning)之前添加一个额外的层(和dropout)，最好的方法是什么？
浏览 62提问于2021-05-05得票数 0
回答已采纳
我试图把我的头绕在VAE的周围，并且很难理解当人们绘制潜在空间的散点图时所看到的是什么。我想我理解瓶颈概念；我们从N输入维到H隐维到Z维高斯和Z均值，以及Z方差值。例如，这里 (它基于官方的PyTorch VAE实例)、N=784, H=400和Z=20。
当人们制作二维散点图时，他们实际上画的是什么？在上面的例子中，瓶颈层是20维的，这意味着有40个特性(包括\mu和\sigma)。人们会在这上面做PCA或tSNE之类的事情吗？即使Z=2仍然有四个特性，所以我不明白显示集群的散点图是如何生成的，比如在MNIST中。
浏览 0提问于2019-04-09得票数 2
回答已采纳
我们正在尝试使用LSTM重建模型。
在Pytorch中，LSTM知道输入了3D数据。
从上面的图片中，我现在将它放在下面的形状中。
(batch、lstm_num、dv_batch、dvector)
lstm_num:使用的LSTM数量
我想知道是否有其他方法可以使用lstm_num作为循环或张量本身来处理4维数据。
原始处理方法代码如下。
在原始版本中，我们得到一个
(batch，dv_batch，dvector)在三维数据中。
for epoch in range(init_epoch, max_epochs):
for i, (dvec_batch, prob_batch) i
浏览 3提问于2020-05-25得票数 0
4回答
对于numpy，我可以这样做一个简单的矩阵乘法：
a = numpy.ones((3, 2))
b = numpy.ones((2, 1))
result = a.dot(b)
但是，这不适用于PyTorch：
a = torch.ones((3, 2))
b = torch.ones((2, 1))
result = torch.dot(a, b)
此代码引发以下错误：
RuntimeError:一维张量，但得到二维张量和二维张量
如何在PyTorch中执行矩阵乘法？
浏览 9提问于2017-06-13得票数 84
回答已采纳
我正在尝试使用CNN实现一个。据我所知，对于文本数据，我们应该使用一维卷积。我看到了一个使用Conv2d的pytorch示例，但我想知道如何将Conv1d应用于文本？或者说，这实际上是不可能的？
下面是我的模型场景：
Number of in-channels: 1, Number of out-channels: 128
Kernel size : 3 (only want to consider trigrams)
Batch size : 16
所以，我将提供形状的张量，<16，1，28,300>，其中28是句子的长度。我想使用Conv1d，它将给我128个长度为26的特征
浏览 3提问于2017-05-27得票数 12
回答已采纳
1回答
寻找选择Keras字嵌入层维数的准则。例如，在简化的电影评论分类代码中：
# NN layer params
MAX_LEN = 100 # Max length of a review text
VOCAB_SIZE = 10000 # Number of words in vocabulary
EMBEDDING_DIMS = 50 # Embedding dimension - number of components in word embedding vector
text_model = tf.keras.Sequential([
tf.keras.
浏览 0提问于2020-10-14得票数 3
所以，我很难理解nn.Embedding。具体来说，我无法将我所理解的作为一个概念的嵌入和这个特定的实现之间的点联系起来。
我对嵌入的理解是，它是一些较大维数据点的较小维表示。因此，它将N-d中的数据映射到M-d潜在/嵌入空间，例如M < N。
据我所知，这种映射是通过学习过程实现的，就像在自动编码器中一样。编码器学习最优的嵌入，以便解码器能够重建原始输入。
所以我的问题是，这与nn.Embedding模块有什么关系：
一种简单的查找表，用于存储固定字典和大小的嵌入。该模块通常用于存储单词嵌入并使用索引检索它们。模块的输入是一个索引列表，输出是相应的单词嵌入。
这一层“学习”了一个更大
浏览 4提问于2020-12-06得票数 3
回答已采纳
我将特别使用PyTorch，但我怀疑我的问题适用于深度学习&CNN，因此我选择在这里发布。
从这段视频开始，然后：
https://www.youtube.com/watch?v=JRlyw6LO5qo&t=1370s
George .解释说，PyTorch函数torch.nn.Linear将bias参数设置为False，然后将torch.nn.Linear功能等效(当然不包括GPU支持)到下面的NumPy行：
x = np.dot(weights, x) + biases
注意，在torch.nn.Linear中，默认情况下偏差设置为True：
https://pytorch
浏览 0提问于2021-06-20得票数 2
回答已采纳
3回答
神经机器翻译中的打结权
、、、、
我想将解码器的embedding层和next_word预测层的权重结合起来。嵌入维数设置为300，解码器的隐藏大小设置为600。NMT中目标语言的词汇量为50000，嵌入权重维数为50000 x 300，预测下一个单词的线性层权重为50000 x 600。
那我该怎么绑呢？在这种情况下，实现重量平衡的最佳方法是什么？
浏览 0提问于2018-03-15得票数 0
回答已采纳
我是PyTorch的新手，但对TensorFlow有丰富的经验。
我想修改图中的一小部分的梯度:仅仅是单层激活函数的导数。使用tf.custom_gradient可以轻松地在Tensorflow中实现这一点，它允许您为任何函数提供定制的梯度。
我想在PyTorch中做同样的事情，我知道您可以修改反向()方法，但这需要重写forward()方法中定义的整个网络的导数，而我只是想修改图中一小部分的梯度。在PyTorch中有类似于PyTorch()的东西吗？谢谢!
浏览 3提问于2022-03-03得票数 2
回答已采纳
2回答
请有人解释一下下面所述层的输入和输出以及工作情况。
model.add(Embedding(total_words, 64, input_length=max_sequence_len-1))
total_words = 263
max_sequence_len=11
是64维数吗？
以及为什么这个层的输出(无，10，64)
它不应该是每个单词的64维向量吗，也就是说(无，263，64)
浏览 0提问于2020-08-24得票数 1
回答已采纳
2回答
这似乎是PyTorch中关于LSTM最常见的问题之一，但我仍然无法弄清楚PyTorch LSTM的输入形状应该是什么。
即使在跟踪了几个帖子(、、)并尝试了解决方案之后，它似乎也不起作用。
背景:我在一批大小为12的文本序列中编码了文本序列(可变长度)，并使用pad_packed_sequence功能对序列进行填充和打包。每个序列的MAX_LEN为384，序列中的每个令牌(或word)的维数为768。因此，我的批处理张量可能具有以下形状之一：[12, 384, 768]或[384, 12, 768]。
批处理将是我对PyTorch rnn模块的输入。
根据PyTorch的文档，它的输入维度是(
浏览 6提问于2020-05-06得票数 16
回答已采纳
层在PyTorch中列在“稀疏层”下，但有以下限制：
请记住，只有有限数量的优化器支持稀疏梯度:目前是optim.SGD (cuda和cpu)和optim.Adagrad (cpu)
原因是什么？例如，在Keras中，我可以使用任何优化器来训练具有嵌入层的体系结构。
浏览 0提问于2017-12-18得票数 5
回答已采纳
在变压器模型中，常采用正弦余弦函数的位置编码.
假设X \in R^{l\times d}是一个示例的嵌入，其中l是序列长度，d是嵌入大小。该位置编码层编码X‘S位置P \in R^{l\times d}并输出P + X
位置P是一个二维矩阵，i表示句子中的顺序，j表示沿嵌入向量维数的位置。这样，原点序列中的每个值就会使用下面的方程式来保持：
{P_{i, 2j} = \sin \bigg( \frac{i}{10000^{2j/d}}} \bigg)
{P_{i, 2j+1} = \cos \bigg( \frac{i}{10000^{2j/d}}} \bigg)
对于i = 0,...,
浏览 0提问于2020-11-24得票数 2
回答已采纳
1回答
了解埃尔莫的发言次数
、、、、
我只是简单地将ELMo作为一个更大的PyTorch模型的一部分来尝试使用它。给出了的一个基本例子。
这是一个torch.nn.Module子类，它计算任意数量的ELMo表示，并为每个表示引入可训练的标量权重。例如，此代码段计算两层表示(如本文中的SNLI和SQuAD模型所示)：
from allennlp.modules.elmo import Elmo, batch_to_ids
options_file = "https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighw
浏览 1提问于2019-03-01得票数 3
回答已采纳
我想要计算梯度并使用相同的梯度来最小化同一网络的一个部分和另一个部分(某种对抗性的情况)。对我来说，理想的情况是，如果有两个优化器负责网络/模型的两个部分，而其中一个优化器具有负的学习率。但PyTorch似乎不允许负学习率。
在这种情况下，我所做的是：
loss.backward()
optimzer_for_one_part of the model.step()
然后
(-loss).backward()
问题是，这一次重新计算的梯度将不是相同的(值是不同的，当然是失败的)，因为同一网络的一些权重(相同的计算图)已经改变了。但是，理想情况下，我想使用前一个梯度的翻转版本。我怎样才能做到这
浏览 0提问于2020-09-28得票数 0
回答已采纳
1回答
我读过一篇关于机器翻译的论文，它使用了投影层。它的编码器有6个双向LSTM层。如果输入嵌入维数是512，那么编码器输出的维数是多少? 512*2**5？
论文链接：
浏览 1提问于2020-02-11得票数 2
1回答
理解嵌入向量维数
、、、、
在深度学习中，特别是在NLP中，单词被转换成向量表示，然后输入到神经网络(如RNN )中。通过提及链接：
在单词嵌入一节中，有人说：
单词嵌入W: word→Rn是某种语言中的一个参数化函数映射词到高维向量(可能是200到500个维)。
我不明白向量维数的目的是什么。向量为200维，而向量为20维是什么意思？
它是否提高了模型的整体精度？有人能给我一个关于向量维数选择的简单例子吗？
浏览 3提问于2019-05-10得票数 0
回答已采纳
从多个搜索和pytorch文档本身，我可以发现在嵌入层中有一个查找表，其中存储了嵌入向量。我无法理解的是：
在这一层的训练中到底会发生什么？
这些权重的权重和这些权重的梯度是如何计算的？
我的直觉是，至少应该有一个带有一些参数的函数来生成查找表的键。如果是的话，那这个功能是什么呢？
在这方面的任何帮助都将不胜感激。谢谢。
浏览 9提问于2019-11-05得票数 21
回答已采纳
我坚持使用tensorflow 1.12，并且我需要使用层规范化。我找不到一些这样的例子，而且由于我是tensorflow的新手，我无法找出我错在哪里。 tf.contrib.layers.layer_norm是我想要包含在tf.keras.Sequential()中的函数，如下所示- self.module = K.Sequential([
tf.contrib.layers.layer_norm(trainable=True),
K.layers.Activation(self.activation),
浏览 41提问于2019-09-18得票数 1
我试图用Pytorch实现一个Transformer模型，并用来自的示例进行实验，该示例从链接而来，但在PositionalEncoding类中遇到了问题，在model.py中也发现了问题。
该类的__init__()函数的代码如下：
def __init__(self, d_model, dropout=0.1, max_len=5000):
super(PositionalEncoding, self).__init__()
self.dropout = nn.Dropout(p=dropout)
pe = torch.zeros(max_len, d_model
浏览 1提问于2020-03-20得票数 1
3回答
构造SVD的组件数量
、、、、
可以通过使用截断的奇异值分解来降低维数。它通过截断奇异值分解(SVD)进行线性降维。然而，在分解之前，必须选择组件的数量。
n_comp = 25
tfidf_vec = TfidfVectorizer(analyzer="word", max_features=5000, ngram_range=(1,2))
svd = TruncatedSVD(n_components=n_comp, algorithm='arpack')
tfidf_df = tfidf_vec.fit_transform(values)
df = svd.fit_transform(t
浏览 2提问于2018-01-24得票数 4
我正在阅读“为编者深入学习与快速和PyTorch”的书。对于嵌入模块的作用，我仍然有点困惑。这似乎是一个短而简单的网络，除了我似乎不能把我的头脑围绕什么嵌入不同的线性没有偏见。我知道它对点积做了一些更快的计算，其中一个矩阵是一个热编码矩阵，另一个是嵌入矩阵。它这样做实际上是选择一段数据吗？请指出我哪里错了。这里是书中所示的一个简单的网络。
class DotProduct(Module):
def __init__(self, n_users, n_movies, n_factors):
self.user_factors = Embedding(n_users, n_
浏览 2提问于2020-12-25得票数 7
回答已采纳
inputs = Input(shape=(None, 40))
embedding = Embedding(len(tok.word_index) + 1, 300, trainable=True)
titles_embed = embedding(inputs)
我有M个样本，每个样本都是一个可变计数的句子列表。每句话固定40个单词。作为inputs，None表示句子的变量计数。我使用这个嵌入层将每个单词向量到300维。之后，titles_embed的形状为(?, ?, 40, 300)，其中第一个?是批次大小，批次中的每个样本都是一个段落，由第二个?个句子组成。每个句子都有40个单
浏览 22提问于2020-05-20得票数 0
我正在尝试构建一个自动编码器神经网络，用于在单列文本列表中查找异常值。我的输入有138行，它们看起来像这样： amaze_header_2.png
amaze_header.png
circle_shape.xml
disableable_ic_edit_24dp.xml
fab_label_background.xml
fab_shadow_black.9.png
fab_shadow_dark.9.png 我已经使用Keras构建了一个自动编码器网络，并且我使用python函数将我的文本输入转换为一个数组，每个字符的ascii表示用零填充，这样它们都具有相同的大小。 我的完整代码是这样的
浏览 9提问于2019-04-22得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
