如何在Tensorflow 2中实现类似Pytorch Embedding(sparse=True)的稀疏嵌入？
在TensorFlow 2中实现类似PyTorch Embedding(sparse=True)的稀疏嵌入，可以使用tf.lookup模块中的tf.lookup.StaticHashTable来实现。下面是实现的步骤：
- 定义稀疏张量（SparseTensor）来表示嵌入索引和对应的权重。稀疏张量由三个分别表示索引、形状和值的张量组成。
- 定义稀疏张量（SparseTensor）来表示嵌入索引和对应的权重。稀疏张量由三个分别表示索引、形状和值的张量组成。
- 这里的indices表示两个嵌入索引的坐标，values表示对应的权重值。dense_shape指定嵌入表的形状。
- 使用tf.lookup.StaticHashTable构建嵌入表。
- 使用tf.lookup.StaticHashTable构建嵌入表。
- KeyValueTensorInitializer用于指定键-值对的初始化器。default_value指定未找到键时的默认值。
- 进行稀疏嵌入的查找。
- 进行稀疏嵌入的查找。
- 使用lookup方法可以通过稀疏索引在嵌入表中查找对应的嵌入向量。
这样就可以在TensorFlow 2中实现类似PyTorch Embedding(sparse=True)的稀疏嵌入。
关于TensorFlow的更多信息，请参考腾讯云的TensorFlow产品介绍：TensorFlow
相关·内容
我有一个网络，它有很多需要嵌入的项目。 然而，在每个训练批次中，实际上只会使用很小一部分项目。如果我使用普通的tf.keras.layers.Embedding层，它会将所有项目添加到网络参数中，从而消耗大量内存，并显著降低分布式训练的速度，因为在每个步骤中，所有未使用的梯度仍然是同步的。我想要的是，在每个训练步骤中，只有实际使用的嵌入权重被添加到图中，并被计算和同步。 Pytorch已经通过tor
浏览 23提问于2020-07-24得票数 1
1回答
我正在用CNN实现一个文本分类器，类似于使用Tensorflow的。Tensorflow提供了tf.nn.embedding_lookup_sparse，它允许您以稀疏张量的形式提供单词ID。这是很好的，特别是对于启用可变长度序列。但是，该函数在查找后需要一个“组合”步骤，例如“平均”或“和”。这迫使它回到致密张量空间。我不想做任何组合。我想把我的向量保持在稀疏表示中，这样以后我就
浏览 2提问于2018-11-07得票数 2
层在PyTorch中列在“稀疏层”下，但有以下限制：
原因是什么例如，在Keras中，我可以使用任何优化器来训练具有嵌入层的体系结构。
浏览 0提问于2017-12-18得票数 5
回答已采纳
我们花了很多时间来阅读的接口文档。embedding_lookup_sparse的含义令人困惑，它似乎与embedding_lookup有很大的不同。
这是我的想法，如果我错了，请纠正我。宽深模型的例子使用了contrib.layers接口，并调用embedding_lookup_sparse来实现稀疏特征列。如果它获得了国家(例如，国家，这是稀疏的</e
浏览 0提问于2016-08-11得票数 3
我们已经尝试过使用tf.nn.embedding_lookup，它可以工作。但是它需要密集的输入数据，而现在我们需要tf.nn.embedding_lookup_sparse来实现稀疏输入。import tensorflow as tfembeddings = tf.Variable(var)
embed
浏览 1提问于2016-08-29得票数 6
回答已采纳
这些天我正在学习tensorflow的wide_n_deep_tutorial，我对tf.contrib.layers.embedding_column有点困惑。我想知道tensorflow是如何实现嵌入列的？
例如，假设我有一个维数为1000的稀疏输入，我想将它嵌入到维数为10的稠密特征中。它是否持有一个具有1000*10参数的完全连接的网络，并使用BP进行训练
浏览 2提问于2017-02-16得票数 3
我正在学习tensorflow tutorial 。我想找到下面这行的描述：我想知道它是使用了word2vec还是别的什么，或者我的想法完全错了。
浏览 0提问于2016-08-07得票数 5
2回答
我正在尝试使用稀疏滤波器矩阵在pytorch中对密集输入执行空间卷积(例如，在图像上)。from torch.autograd import Variablev = torch.F
浏览 1提问于2017-12-19得票数 2
稀疏张量与自身或稠密张量的乘法在TensorFlow中似乎不起作用。下面的示例import tensorflow as tf
float32 of argument 'a'
这两个张量都有float32类型的</em
浏览 0提问于2015-12-01得票数 27
回答已采纳
2回答
将二维稀疏矩阵转换为三维矩阵
、、、、
我想把二维稀疏矩阵转换成三维矩阵，因为我需要把它作为conv1d层的输入，它需要三维张量。other_features_train = hstack((X_train_state_ohe, X_train_teacher_ohe，cv和测试数据(24155, 101)这是我的模型架构。=False)(input_model_1)
lstm = LSTM(16
浏览 10提问于2020-05-10得票数 1
回答已采纳
1回答
我来自TensorFlow背景，我正在尝试将自定义图层的一小段代码从Keras转换为PyTorch。Keras中的自定义图层如下所示： def __init__(self, class_num):self.class_num = class_num embedding_len
浏览 0提问于2021-08-27得票数 0
1回答
我正在尝试使用tensorflow keras.Sequential库使用预先训练好的嵌入来适应文本生成的LSTM模型。我遇到以下评估错误： tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [Conditionx == y did not hold element-wise:] [x (sparse_categorical_crossentropy/SparseSo
浏览 22提问于2020-12-28得票数 0
1回答
具体而言，引发这个问题的是TensorFlow的LSTM层版本的return_sequence参数。下面是三种不同的实现。例1 (TensorFlow)：
此实现</em
浏览 4提问于2020-12-07得票数 4
回答已采纳
2回答
我一直在使用tensorflow()中的数据集和feature_columns。我看到他们有分类特征和一种从分类特征创建嵌入特征的方法。但是，在处理nlp任务时，我们如何创建单个嵌入查找？每个数据点都会有很多文本列，但它们不会是单独的类别。我们如何为所有这些列创建和使用一个嵌入查找？
下面是我目前是如何使用嵌入特性的一个例子。我正在为每一列构建一个分类特征，并使用它来创建嵌入。问题是同一个词的<em
浏览 0提问于2017-11-28得票数 5
我正在接受一个InvalidArgumentError，同时试图训练一个在Keras中实现的深度学习模型。我在Keras和TensorFlow中搜索过类似的问题，但是由于无法找到索引，我的错误消息似乎是不寻常的。下面是错误消息。_1/=]
model.add(TimeDist
浏览 0提问于2018-04-30得票数 5
回答已采纳
如果输入值大于input_dim，嵌入层是如何工作的？from keras.layers import Embedding
model.add(Embedding(1, 2, trainable=True, mask_zero=False))
model.compile("rmsprop", "
浏览 0提问于2020-04-21得票数 0
回答已采纳
4回答
我在Stackoverflow上查看了PyTorch教程和类似的问题。
我很困惑；pytorch中的嵌入()会使相似的单词彼此更接近吗？我只需要给它所有的句子吗？
浏览 0提问于2018-06-08得票数 53
15回答
对于处理分类数据，tensorflow是否有类似于scikit learn的的东西？使用tf.string占位符会表现为分类数据吗？我意识到在将数据发送到tensorflow之前，我可以手动预处理数据，但是让它内置是非常方便的。
浏览 16提问于2015-11-12得票数 73
回答已采纳
1回答
我有点困惑于如何正确使用Keras中的嵌入层来实现seq2seq (我想在Keras中重建TensorFlow se2seq机器翻译教程 )。我的问题如下：from keras.l
浏览 0提问于2017-03-13得票数 7
我正在尝试实现Poincaré嵌入，正如Facebook ()在一篇文章中所讨论的那样，我的分层数据。您可能会发现一个更容易理解的解释，即Poincaré嵌入式。在本文的基础上，我发现了Tensorflow、和以及Tensorflow插件中的的一些实现。后者甚至与上述文件有联系，这使我相信这对我来说是一个很好的起点。但是，到目前为止，我还没有实现
浏览 6提问于2020-09-24得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
