Word2Vec是否保持输入文本的顺序信息？
Word2Vec是一种用于将文本转换为向量表示的算法，它是基于神经网络的无监督学习模型。Word2Vec模型有两种实现方式：CBOW（Continuous Bag-of-Words）和Skip-gram。
在CBOW模型中，Word2Vec并不保持输入文本的顺序信息。它将目标词的上下文词作为输入，通过训练神经网络来预测目标词。因此，CBOW模型将输入文本中的词袋（bag-of-words）表示为输入，而不考虑词的顺序。
相比之下，Skip-gram模型则保留了输入文本的顺序信息。它通过将目标词作为输入，来预测其周围的上下文词。Skip-gram模型更适合于处理较大的语料库，因为它可以生成更多的训练样本。
Word2Vec模型的优势在于将文本转换为连续的向量表示，使得计算机可以更好地理解和处理文本数据。它可以应用于多个领域，包括自然语言处理、信息检索、推荐系统等。
腾讯云提供了一系列与自然语言处理相关的产品，其中包括腾讯云智能语音、腾讯云智能机器翻译等。这些产品可以帮助开发者在云计算环境下进行语音识别、语音合成、机器翻译等任务。
更多关于腾讯云自然语言处理产品的信息，请访问腾讯云自然语言处理产品介绍页面：https://cloud.tencent.com/product/nlp
相关·内容
1回答
我正在尝试用神经网络训练一个Word2Vec模型。我的问题如下：
如果我错了，请纠正我: word2vec使用的输入文本与图像没有相同的数量级(就内存而言)？这是否意味着不需要使用GPU来训练word2vec模型，顺便说一句，64 to虚拟云机器就足以进行培训了吗？文字训练不能超过5-10Go吗？
浏览 0提问于2018-10-11得票数 0
2回答
从已清理的数据中使用代理语句
、、、、
Gensim的Word2Vec模型将包含单个标记/句子单词的内部列表的列表作为输入。据我所知，Word2Vec用于使用向量“量化”文本中单词的上下文。我目前正在处理一个文本语料库，这些文本已经被分割成单独的标记，并且不再包含明显的句子格式(标点符号已被删除)。我想知道如何将这些输入到Word2Vec模型中？
如果我简单地将语料库分割成长度一致的“句子”(例如，每句10个标记)，这会是将数据输入模型的好方法吗？
本质上，我想知道输入句子的格式(列表列表)是如何影响Word2Vec?输出的。
浏览 0提问于2018-07-10得票数 0
我是一个学习Word2Vec的初学者，刚刚开始在互联网上学习word2vec。在Quora和StackOverflow中，我几乎已经看过了所有的问题，但是没有从以前的问题中得到任何答案。那么我的问题是-- 1.是否可以将word2vec应用于剽窃检测? 2.如果第一种方法是可能的，那么Word2Vec在基于文本的剽窃检测方面会比WordNet或其他诸如GloVe、fastText等词嵌入更有效吗？提前感谢。
浏览 3提问于2017-06-27得票数 1
回答已采纳
我正在使用word2vec来训练句子，以获得最接近的单词。我正在尝试使用word2vec和R语言。
输入：
"You are my best friend"
输出：
The model was generated in 'C:/Users/acer/Pictures/INTERNSHIP'!
我在R中使用了以下代码：
g <- word2vec("mydata.txt","Word.txt")
但在R中使用word2vec训练文本后，我必须检查输出。有人能帮助我在R中尝试相同的方法吗？
浏览 4提问于2015-08-31得票数 2
通过word2vec加载完整的预先训练的模型是耗时而乏味的，因此我想知道是否有机会删除低于某一频率的单词，从而将vocab计数降低到例如200k单词。
我在Word2Vec包中找到了gensim方法来确定单词频率，并再次保存模型，但我不知道如何从经过预先训练的模型中提取pop/remove语音，然后再保存它。我在KeyedVector class和Word2Vec class中找不到这种操作的任何提示？
如何选择预先训练的word2vec模型的词汇表的一个子集？
浏览 5提问于2017-02-25得票数 9
回答已采纳
据我所知，使用gensim的word2vec板条箱只有3层。我想知道我们是否可以定制word2vec NN并创建超过3层的word2vec NN来使用tensorflow进行实验？
浏览 0提问于2019-08-22得票数 1
回答已采纳
2回答
我正在使用下面提到的查询，以获得在给定的条件下可以使用的维基数据。
SELECT ?item WHERE {
?item rdfs:label "Word2vec"@en
}
输出为wd:Q22673982
但是，当我将Word2vec拼写为word2vec (即所有字符都是简单字母)时，我会从上面的查询中得到“无结果”。
因此，我想知道是否有一种方法来获取术语在wikidata中的位置并得到它的标签？
也就是说，如果我输入的所有字符小写，如何识别等效的维基数据术语，并返回其相应的标签？
浏览 0提问于2019-04-29得票数 2
回答已采纳
1回答
序列模型Word2vec
、、、、
我正在处理超过100,000条记录的数据集。下面是数据的外观：
email_id cust_id campaign_name
123 4567 World of Zoro
123 4567 Boho XYz
123 4567 Guess ABC
234 5678 Anniversary X
234 5678 World of Zoro
234 5678 Fathers day
234 5678 Mothers day
34
浏览 3提问于2018-10-18得票数 1
2回答
word2vec需要多少数据？是否有有用的公共数据集？
例如，1000篇报纸文章是否足以使用word2vec？
下面是Kaggle的word2vec教程，它使用50,000部电影评论。我正在努力理解word2vec输入的规模。
浏览 0提问于2016-07-27得票数 4
1回答
如何预测给定句子的语法是否正确？
、、、、
我正在尝试创建一个预测模型，该模型通过检查句子中单词的顺序来判断给定句子是否正确。该模型检查特定的单词序列是否已经出现在巨大的语料库中，是否有意义。 我尝试用word2vec模型来做这件事，去掉了两个句子的余弦相似度或WMD距离，但这只给出了基于词向量相似度的相似度，而不是单词的序列。 因此，如果我们将输入作为两个句子： 句子1-“我要去商店” 句子2-“去我是商店去” 输出应指示句子无效或相似度小于或等于20% 而word2vec模型显示出100%的相似性，因为输入的单词无论顺序如何都是相同的。所以我猜它不能用来比较词序。任何其他建议也可能非常有帮助。
浏览 15提问于2019-04-10得票数 0
1回答
现在我正在做一个NLP实验。我所想到的非常类似于Word2Vec。我想我的方式肯定已经存在了。也许有开箱即用的密码。但我不知道去哪找。
word 2 hot的输入字向量是单热的。所以每个单词向量的大小等于单词的大小。
但我的输入字向量是几个单一热向量的连锁。也许可以称之为“几个热”。它比一个热的要短得多，但仍然很稀疏。我仍然想用word2vec的方案来简化它。
我使用了Gensim的Word2Vec模型。它似乎只接受令牌作为输入。这意味着它在内部将令牌转换为一个热向量，对吗？我想知道是否存在接受自定义输入向量的Word2Vec代码。
浏览 8提问于2022-08-07得票数 1
回答已采纳
1回答
我对word2vec完全陌生，所以请容忍我。我有一套文本文件，每一个包含一组推特，在1000到3000之间。我选择了一个公共关键字("kw1")，我希望使用word2vec为"kw1"找到语义相关的术语。例如，如果关键字是"apple"，我希望看到相关的术语，如"ipad" "os" "mac".基于输入文件。因此，这组用于"kw1"的相关术语对于每个输入文件将是不同的，因为word2vec将对单个文件进行培训(例如，5个输入文件，在每个文件上运行5次word2vec )。
我的目标
浏览 1提问于2016-01-10得票数 4
2回答
我有一组文档，每个文档都随着时间的推移而迅速增长。任务是在任何固定时间找到类似的文件。我有两种可能的方法：
向量嵌入(word2vec、GloVe或fasttext文本)，对文档中的单词向量进行平均，并使用余弦相似度。
tf-以色列国防军或其变异，如BM25。
其中之一会产生更好的效果吗？是否有人对tf与平均word2vec的文档相似性做了定量比较？
还有另一种方法，允许在添加更多文本时动态地细化文档的向量吗？
浏览 0提问于2017-03-07得票数 4
我一直在尝试使用spark和mllib来训练word2vec模型，但我似乎没有从大型数据集上的分布式机器学习中获得性能上的好处。我的理解是，如果我有w工人，那么，如果我创建一个包含n个分区的RDD，n>w和我试图通过调用以RDD为参数的Word2Vec的fit函数来创建一个Word2Vec模型，然后spark将统一地分发数据，对这些w工人进行单独的word2vec模型训练，并在最后使用某种还原剂函数从这些w模型中创建一个输出模型。这将减少计算时间，因为与1块相比，w块数据将被同时处理。交换条件是，可能会出现一些精度损失，这取决于最终使用的还原剂功能。星火中的Word2Vec是否真的是这样
浏览 1提问于2016-09-28得票数 1
回答已采纳
我有三个关于微调字向量的问题。求你帮帮我。我会很感激的！事先非常感谢！
当我训练我自己的CNN进行文本分类时，我使用Word2vec初始化单词，然后我使用这些预先训练过的向量作为我的输入特性来训练CNN，所以如果我没有嵌入层，它肯定不能通过反向传播进行任何细调。我的问题是，如果我想做微调，它是否意味着创建一个嵌入层?以及如何创建它？
当我们训练Word2vec时，我们使用无监督的训练，对吗？就像在我的例子中，我使用跳过图模型来获得我预先训练过的word2vec；但是当我拥有vec.bin并使用它作为我的单词缩写词时，如果我能够在vec.bin中微调单词到向量地图，这是否意味着我必须有一
浏览 13提问于2016-10-20得票数 5
1回答
我对word2vec完全陌生，所以请和我一起忍受。我有一套文本文件，每一个包含一组推特，在1000到3000之间。我选择了一个常见的关键字( "kw1“)，并希望使用word2vec查找与”kw1“在语义上相关的术语。例如，如果关键字是"apple“，我希望看到相关的术语，如"ipad”、"os“、”mac“……基于输入文件。因此，"kw1“的这组相关术语对于每个输入文件将是不同的，因为word2vec将对单个文件进行培训(例如，5个输入文件，在每个文件上运行5次word2vec )。
我的目标是在给定公共关键字("kw1")的情况下为每
浏览 0提问于2016-01-10得票数 11
我正在尝试应用Windows10机器python3.7中的gensim 3.6库中实现的word2vec模型。在执行预处理后，我有一个句子列表(每个句子都是一个单词列表)作为模型的输入。
我在Anaconda's Spyder中计算了结果(使用Anaconda's Spyder获得了一个给定输入词的10个最相似的单词)，然后是Sublime Text编辑器。
但是，对于在两个编辑器中执行的相同源代码，我得到了不同的结果。
我需要选择的结果是什么以及为什么选择
我正在指定通过在spyder和崇高文本中运行相同的代码获得的结果的屏幕截图。我需要获得10个最相似的单词的输入单词是#u
浏览 0提问于2018-12-04得票数 0
回答已采纳
1回答
文字嵌入与文本嵌入的区别
、、、
我正在开发一个amazon评论的数据集，并希望将它们聚为正反两类。我使用Word2Vec进行矢量化，所以想知道文本嵌入和字嵌入的区别。另外，其中哪一个对我的评论集群很有用(请考虑我想要预测我输入的任何评论的集群)。提前感谢！
浏览 0提问于2020-11-20得票数 0
回答已采纳
我有一个关于word2vec算法的问题。事实上，我的问题是训练语料库中句子的顺序是否重要。例如，给定两个培训语料库：
CorpusA:句子1.句子2.句子3.
CorpusB:句子3.句子1.句子2.
word2vec的结果会有所不同吗？
提前感谢
浏览 2提问于2016-04-07得票数 0
我想使用Gensim的已实现的Word2Vec和一个上下文词对列表作为输入而不是句子。我最初认为，将手工创建的上下文词对作为句子输入相当于输入原始句子并将窗口参数设置为1，但这两种方法产生的结果不同。Gensim的Word2Vec如何计算句子的上下文词对，以及如何输入手动创建的对作为函数的输入？
浏览 0提问于2017-08-03得票数 2
回答已采纳
2回答
我目前正致力于一个闪闪发光的水应用程序，我是一个完全初学者的火花和h2o。
我想做的是：
加载输入文本文件
创建word2vec模型
使用列word和列向量创建数据格式
将数据作为h2o的输入
通过创建模型，我得到了一个映射，但我不知道如何创建它的数据。输出应该如下所示：
word 向量
断言: 0.3，0.4.
感觉到0.6，0.2.诸若此类。
到目前为止，这是我的代码：
from pyspark import SparkContext
from pyspark.mllib.feature import Word2Vec
from pysparkling import
浏览 4提问于2016-06-28得票数 2
回答已采纳
2回答
在捕获组中使用sed替换
、、、
我试图在一些包含短语分隔符的文本中使用word2vec，比如
I <phrase>like green beans</phrase> in my tortillas.
在将文本输入到word2vec之前，我需要输入如下：
I __like_green_beans__ in my tortillas.
我一直在尝试用sed来做替换。通过做
sed -e 's@<phrase>\(.*\)</phrase>@__\1__@g' myfile.txt
我可以去掉分隔符，但是还没有找到一种方法来替换捕获组中的空格。
如果可能的话，您有什
浏览 0提问于2018-02-12得票数 4
回答已采纳
1回答
我仍然不确定什么时候该使用word2vec，什么时候该依靠一袋袋的单词。例如，如果我想开发一个文本聚类模型，该模型将文本作为输入并为每个输入输出一个集群，我应该关心单词表示和使用word2vec，还是应该依赖单词包，并将输入文本作为文档处理？请与我分享更多的阅读和理解资源；我对文本预处理和聚类非常感兴趣，并想了解我所能了解的一切。
此外，如果我想使用k-均值进行聚类，我是应该将数据拆分，还是只在一起处理整个数据就可以了？
浏览 3提问于2022-03-30得票数 0
回答已采纳
所以我第一次实现Word2Vec，我有一组训练数据，我想训练一个word2vec模型。可以预见的是，问题是数据集相当大，而且我的计算能力比我想要的要有限。当然，这是一个非常常见的问题，但是有什么方法可以在不太严重影响性能的情况下最小化输入文本？
例如，如果我有例句：
四号女贞路的德思礼夫妇很自豪地说，他们是完全正常的，非常感谢你们。他们是你最不愿意参与到任何奇怪或神秘的事情中的人，因为他们只是不相信这些废话。德思礼先生是一家名为runnings的公司的董事，该公司生产钻头。他是个身材魁梧的人，几乎没有脖子，尽管他的确留着很大的胡子。
我可以做一些事情比如把停止的话拿出来..。但正如我在谷歌上搜
浏览 0提问于2018-01-22得票数 0
回答已采纳
我试图通过Gensim在波斯语上建立一个word2vec模型，该语言以“空格”作为字符分隔符，我使用python3.5。我遇到的问题是，我给出了一个文本文件作为输入，它返回一个模型，该模型只由每个字符单独组成，而不是单词。我还把输入作为建议的单词清单：
它对我不起作用，我认为它不考虑句子中的单词顺序，所以它是不正确的。
我对我的输入做了一些预处理，包括：
将多个空白空间折叠为单个空白空间
在空格上拆分标记
删除小于3个字符的单词--长--删除停止词
我把文本给了word2vec，它给了我正确的结果，但是我需要它在python上，所以我的选择仅限于使用Gensim。
此外，我还尝试加载word
浏览 0提问于2017-07-18得票数 3
回答已采纳
使用H2O是必需的，请使用word2vec模型在文本文件(作为输入的数据集)上执行嵌入，以生成作为向量(数组)的输出。将使用的word2Vec模型如下-，它是用C/C++编写的。那么，如何使用H2O实现呢？
浏览 2提问于2017-09-23得票数 1
嗨，我使用genism加载西班牙快速文本word2vec模型，代码如下：
Word2Vec = KeyedVectors.load_word2vec_format('../data/raw/wiki.es.vec',
binary=False)
现在我想用新的训练句子来训练word2vec。
我知道，在天才中，如果加载了模型，可以使用以下代码来训练新的句子：
model.build_vocab(sentences) # prepare the model vocabulary
mod
浏览 0提问于2018-07-30得票数 1
我有一组用神经网络训练的嵌入，与gensim的word2vec无关。
我想使用这些嵌入作为gensim.Word2vec中的初始权重。
现在我看到的是，我可以model.load(SOME_MODEL)，然后继续训练，但它需要一个gensim模型作为输入。此外，reset_from()似乎只接受其他gensim模型。但是在我的例子中，我没有一个gensim模型，而是一个嵌入的word2vec格式的文本文件。
那么，如何开始将学习从word2vec文本文件迁移到gensim.Word2vec呢
浏览 8提问于2017-12-24得票数 1
2回答
我已经使用gensim的word2vec库尝试word2vec有一段时间了。我的问题是，我必须从我的输入文本中删除停用词吗？因为，根据我最初的实验结果，我可以看到像“of”，“when”这样的词。(停用词)当我做model.most_similar('someword')的时候弹出...？
但我没有看到任何地方提到word2vec需要删除停用词？即使您不删除停用词，word2vec也应该处理它们吗？
什么是必须做的预处理工作(就像主题建模一样，你几乎必须做停用词删除)？
浏览 1提问于2016-01-11得票数 21
回答已采纳
1回答
我相对来说是个新手，很难理解Spark。
我的问题是，我有3TB的文本，我想训练一个Word2Vec模型。我正在运行的服务器大约有1TB的ram，所以我不能临时保存该文件。
该文件被保存为我导入到星火中的一块地板。我的问题是Spark库是否分发Word2Vec培训？如果是这样的话，在处理这么大的文本文件时有什么需要我担心的吗？如果没有，那么在培训Word2Vec时是否仍然要流这些数据？
浏览 3提问于2020-12-17得票数 0
回答已采纳
6回答
我在玩FastText，，这与Word2Vec非常相似。由于它似乎是一个非常新的图书馆，没有多少内置的功能，我想知道如何提取形态学相似的词。
例如：model.similar_word("dog") ->狗。但是没有内置的功能。
如果我输入model["dog"]
我只得到向量，这可以用来比较余弦的相似性。model.cosine_similarity(model["dog"], model["dogs"]])。
我是否需要做一些循环，并对文本中所有可能的对执行cosine_similarity？那需要时间！
浏览 3提问于2017-02-13得票数 13
回答已采纳
2回答
我面临着一个二进制预测任务，并且有一组特征，其中所有的特征都是分类的。因此，一个关键的挑战是将这些分类特征编码为数字，而我正在寻找智能的方法来做到这一点。我偶然发现了word2vec，它主要用于自然语言处理，但我想知道是否可以使用它来编码我的变量，即简单地将神经网络的权重作为编码的特征。
然而，我不确定这是不是一个好主意，因为在我的例子中，作为word2vec输入特征的上下文词或多或少是随机的，而不是word2vec最初设计的真实句子。
你们对此有什么建议，想法，建议吗？
浏览 1提问于2019-11-13得票数 1
下面的图像通常用来描述带有跳过语法的word2vec模型：
然而，在stackoverflow上读取之后，似乎word2vec实际上接受了1个单词和输入，以及1个单词作为输出。输出的单词是从窗口中随机抽取的。(这将执行X次，以生成X个输入/输出对。)
在我看来，上面的图像没有正确地描述网络。我的问题是:1输入/1输出是标准的( Tensorflow word2vec教程采用了这种方法，并称之为skip-gram)，还是有些网络实际上采用了上图的结构？
浏览 1提问于2018-04-11得票数 2
1回答
我有一些关于Word2Vec的问题：
是什么决定了结果模型向量的维数？
这些向量的元素是什么？
如果我已经对每个词的意思都有文本，我可以使用Word2Vec来解决多义问题(state =管理单元与state =条件)吗？
浏览 0提问于2018-07-13得票数 1
回答已采纳
我试图找出如何以联邦的方式训练word2vec模型。
这些数据将被分成多个部分，例如4个“机构”，我想对每个机构的数据分别进行word2vec模型的培训。这里的主要限制是，机构的数据不能转移到另一个地方，因此永远不能集中训练。
我知道可以迭代地训练word2vec模型，这样可以读取来自第一个机构的数据，用于训练和更新word2vec模型，但我不知道是否有可能在所有四个机构同时进行，然后，例如，将所有四个word2vec模型合并成一个模型。
如有任何意见或建议，请见谅。
浏览 4提问于2021-09-06得票数 1
回答已采纳
在阅读了几篇论文之后，我不确定是否有可能只使用Word2vec生成含义相同的文本。
我发现了其他使用句子对序列的方法，他们训练神经网络找到最相似的，但这很难维护，也很难生成这样的相关内容。
我想给出原始文本的Word2vec支持的算法，提供翻译文本。
浏览 0提问于2019-05-23得票数 1
我需要将Word2Vec与我的CNN模型结合起来。为此，我需要为每个句子保留一个标志(二进制标记就足够了)，因为我的语料库有两种类型(即.a)。句子的目标类)。所以，我需要在创建后检索每个向量的标志。如何在Word2Vec的输入语句中存储和检索这些信息，因为我需要这两种信息来训练我的深层神经网络？
附注：我正在使用Gensim实现Word2Vec。
附注：我的语料库有6,925个语句，Word2Vec生成5,260向量。
编辑：关于我的语料库的更多细节(按要求)：
语料库的结构如下：
语句(标签：positive) -- Python
- `Feature-A`: **String**
-
浏览 5提问于2020-01-27得票数 2
回答已采纳
我试图解决一个深度学习文本分类问题，所以我必须用Word2Vec矢量化文本输入，以便将它输入到一个神经网络中。
所以我下载了Google预先训练过的Word2Vec模型：
并使用gensim加载它：
import gensim
model = gensim.models.KeyedVectors.load_word2vec_format('Word2Vec.bin', binary=True)
当我试图打印一个特定的单词时：
print(model['cat'])
# => expected output: 0.47385435 (or something
浏览 5提问于2017-03-18得票数 3
回答已采纳
2回答
我想用python和gensim在英语维基百科上训练一个word2vec模型。为此，我密切关注。
它对我有用，但是我不喜欢结果word2vec模型的地方是命名实体被分割，这使得模型对我的特定应用程序不可用。我需要的模型必须将命名实体表示为一个向量。
这就是为什么我计划用spacy解析维基百科文章，并将诸如“北卡罗莱纳州”这样的实体合并到"north_carolina“中，以便word2vec将它们表示为一个向量。到目前一切尚好。
spacy解析必须是预处理的一部分，我在链接讨论中建议使用：
...
wiki = WikiCorpus(wiki_bz2_file, dictionary=
浏览 3提问于2017-04-19得票数 5
1回答
我有一张短信列表。我将每个文本转换成一个标记列表。例如，如果其中一个文本是'I am studying word2vec'，那么相应的令牌列表将是(假设我考虑n克，n= 1，2，3) ['I', 'am', 'studying ', 'word2vec, 'I am', 'am studying', 'studying word2vec', 'I am studying', 'am studying word2vec']。
为了应用most_s
浏览 4提问于2022-03-07得票数 0
回答已采纳
我有10年的文本数据，我希望每年对文本数据运行一个Word2Vec模型，并计算单词之间的距离，我想比较它们随时间的变化。
是否有将Word2Vec模型与前几年数据进行比较的论文？或者，如果我有一个矩阵的Word2Vec向量，有没有方法来比较这些矩阵，每年或从周期t到t-1？
我可以计算矩阵的余弦距离，但是我想不出如何比较每个单词的“分数”。
浏览 0提问于2019-07-13得票数 1
1回答
我一直在研究用RNNs生成文本，似乎常用的技术是逐字符输入文本，并让RNN预测下一个字符。
为什么你不做同样的技巧，而是使用单词而不是字符。这似乎是一个更好的技术，因为RNN不会做任何打字，它将更快的训练。
我是不是遗漏了什么？
此外，是否有可能创建一个单词预测神经网络，但通过在word2vec上输入预先训练过的单词，以便该神经网络能够理解它们的含义？
浏览 2提问于2018-01-10得票数 5
回答已采纳
1回答
我目前在文本挖掘领域工作，我想知道，一旦我开始矢量化。用方法更好。
是Word2Vec还是Tf-Idf？
这里，我看，我们可以把它们结合起来，为什么？它是否提高了数据的质量？
那GloVe呢？
谢谢
浏览 0提问于2020-01-30得票数 5
回答已采纳
1回答
序列模型word2vec
、、、、
我正在做一个有超过10万份记录的数据集。数据是这样的：
email_id cust_id campaign_name
123 4567 World of Zoro
123 4567 Boho XYz
123 4567 Guess ABC
234 5678 Anniversary X
234 5678 World of Zoro
234 5678 Fathers day
234 5678 Mothers day
345
浏览 0提问于2018-10-18得票数 2
我想用Word2Vec用向量来表示单词。
如果在word2vec的输入中有两个相同的单词，是否有可能为它们获得不同的表示？
有没有不同的方法来解决这个问题？
浏览 5提问于2021-11-27得票数 0
1回答
我正在做阿拉伯方言文本分类，我已经使用Word2Vec来训练模型，到目前为止我得到了如下结果：
def read_input(input_file):
with open (input_file, 'rb') as f:
for i, line in enumerate (f):
yield gensim.utils.simple_preprocess (line)
documents = list (read_input (data_file))
logging.info ("Done reading data
浏览 0提问于2019-05-29得票数 1
4回答
列表中有大量字符串:列表内容的一个小示例是：
“机器学习”、“苹果”、“金融”、“人工智能”、“资金”
我希望将它们转换为向量，并将它们用于聚类目的。在找出这些字符串各自的向量时，是否考虑到了这些字符串的上下文？
如果我只有这个包含字符串的列表，我应该如何获得这些字符串的向量？
到目前为止我已经完成了这个代码..。
from gensim.models import Word2Vec
vec = Word2Vec(mylist)
另外，我能得到一个关于Word2Vec的好的参考/教程吗？
浏览 5提问于2017-09-16得票数 1
读取tensorflow word2vec模型输出如何输出与特定单词相关的单词？
读取src：可以查看图像是如何绘制的。
但是，是否存在作为训练模型的一部分而创建的数据结构(例如字典)，允许访问与给定单词最接近的n个单词？例如，如果word2vec生成的图像：
图像源：
在这个图像中，单词'to，he，it‘包含在同一簇中，是否有一个函数可以将'to’作为输入，并输出'he，it‘(在本例中为n=2)？
浏览 3提问于2016-10-17得票数 12
回答已采纳
有Convolution1D示例没有word2vec。
目前，我正在使用gensim来训练word2vec模型。
我想使用word2vec和keras (2D而不是1D)来进行文档分类(中文文本)。我在cnn上学习了文本分类的基本流程，并想做一个测试。
例如(我想象的步骤)：
使用一个好的中文标记文本集来训练word2vec模型
model = gensim.models.Word2Vec(new_sentences，workers=10，size=200，min_count=2)
将我的句子数据集标记为单词列表数据集(最长的句子有8000多个单词，最短小于50)
1‘你们’，‘好’，
浏览 4提问于2017-01-17得票数 2
回答已采纳
1回答
我有两个公开可用的单词嵌入，如手套和谷歌Word2vec。然而，在他们的词汇表中，有太多的拼写错误或垃圾单词(例如##AA##、adirty等)。为了避免这个词，我想提取频繁的词(例如，前50000个单词)，因为我认为比较频繁的词有正常的形式。
所以，我想知道是否有一种方法可以在上述两个预先训练过的单词嵌入中找到单词频率。如果没有，我想知道是否有一些技术来排除这个词。
浏览 0提问于2017-08-11得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
