在keras中结合使用Gensim Fasttext模型和LSTM nn

文章/答案/技术大牛

发布

1回答

tensorflow、keras、nlp、gensim、word-embedding

我已经用Gensim在非常短的句子(最多10个单词)语料库上训练了快速文本模型。我知道我的测试集中包含不在我的训练语料库中的单词，即我的语料库中的一些单词，如“催产素”、“来曲霉素”、"Ematrophin“、”Betaxitocin“。给定测试集中的一个新词，fasttext非常清楚地知道通过使用字符级n-gram来生成与训练集中的其他相似词具有很高余弦相似度的向量如何将快速文本模型合并到LSTM keras</

浏览 25提问于2020-07-06得票数 4

回答已采纳

2回答

具有快速文本词嵌入的Keras模型

python、tensorflow、keras、fasttext、language-model

我正在尝试学习一个语言模型来预测一个句子的最后一个单词，给出所有前面的单词使用角语。我想嵌入我的输入使用一个学习的快速文本嵌入模型。X是形状的( 44317，39,300)，44317是例句数，39是每个句子中的记号数，300是单词嵌入的维数。我为keras模型编写的代码如下(受启发) #importing all

浏览 7提问于2021-11-13得票数 1

回答已采纳

1回答

如何知道gensim预训练的word2vec中的令牌ids将与记号赋予器的词汇表的ids匹配

neural-network、pytorch、gensim、embedding

我正在构建一个使用预先训练好的gensim word2vec的pytorch BiLSTM。我首先使用从头开始使用模型训练的nn.Embedding层，但我决定使用预先训练的word2vec嵌入来提高准确性。import torchimport torch.optim as optim import torch.nn.fun

浏览 12提问于2021-10-31得票数 1

1回答

使用Tensorflow和预训练的FastText获取未见单词的嵌入

tensorflow、embedding、fasttext

我正在使用一个预先训练好的快速文本模型( )。en_model = FastText.load_fasttext_format('../wiki.en/wiki.en') print(en_model[&#

浏览 1提问于2017-10-31得票数 9

3回答

使用amazon sagemaker / blazingtext模型基于词向量反向查找单词

amazon-sagemaker

在使用blazingtext算法训练和部署模型之后...获取给定词的词向量是很简单的。正如本例中演示的那样-- 现在我希望能够实现一些基本的NLP用例，比如...建议一个类似的词，或者男人-女人+国王=皇后为此，我需要能够调用一个函数，该函数接受一个向量作为输入，并从嵌入中</e

浏览 1提问于2018-10-12得票数 0

1回答

如何在原生FastText中加载Gensim* FastText模型*

gensim、fasttext

我在Gensim中训练了一个FastText模型。我想用它来编码我的句子。具体地说，我想在原生FastText中使用这个特性：如何将模型保存在Gensim中，以便它是本机FastText可以理解的正确的二进制格式？我使用的是Python3.

浏览 3提问于2018-05-04得票数 0

6回答

如何用Gensim加载FastText预培训模型？

nlp、gensim

我试着从这里加载fastText预培训模型，快速文本模型。我正在使用wiki.simple.enUnicodeDecodeError: 'utf-8' codec can't decode byte 0xba in position 0: invalid st

浏览 0提问于2017-06-30得票数 35

回答已采纳

2回答

从s3加载快速文本二进制模型失败

python、amazon-s3、aws-lambda、gensim、fasttext

我在s3 (未压缩的)上托管了一个预先训练过的快速文本模型，并且我试图将它加载到lambda函数中。我使用gensim.models.fasttext模块加载模型：" File \&qu

浏览 12提问于2022-01-27得票数 0

回答已采纳

1回答

使用ValueError构建自定义联合平均过程: Layer sequential期望1个输入，但它收到3个输入张量

python、tensorflow、tensorflow-federated

我设法从给定的csv文件加载了一个联邦数据集，并加载了训练和测试数据。我现在的问题是，如何重现一个工作示例，以构建一个迭代过程，对此数据执行自定义的联合平均。pdimport tensorflow_federated as tfffrom tensorflow.keras(): model = tf.<

浏览 127提问于2021-07-17得票数 4

回答已采纳

2回答

继续训练FastText模型

python、gensim、fasttext

我下载了一个.bin FastText模型，并将其与gensim一起使用，如下所示：我想继续培训的模式在检查了和之后，似乎是，而不是，使用这个人提出的 (尚未合并)是可行的。我是不是遗漏了什么？

浏览 0提问于2018-08-29得票数 8

回答已采纳

1回答

为什么gensim* FastText模型的尺寸比Facebook的原生快速文本模型小？*

python、machine-learning、nlp、gensim、fasttext

似乎FastText中的Gensim's实现比Facebook's本机实现的模型大小更小。对于100万字的语料库，fasttext原生模型为6 6GB，而gensim fasttext模型大小仅为68MB。有没有存储在Facebook的实现中的信息没有出现在Gensim的实现中？

浏览 39提问于2021-09-09得票数 0

回答已采纳

1回答

无法加载gensim快速文本模型- UTF-8 unicode错误

python、encoding、pickle、gensim、fasttext

我已经使用Gensim库训练了法语的FastText模型。突然之间，这个经过训练的模型不会加载到内存中。我正在使用下面的代码： from gensim.models import FastTextmodel = FastText.load(fname) 并抛出以下错误/models/fasttext.py",

浏览 21提问于2020-09-04得票数 0

1回答

为什么Gensim拒绝加载由Fasttext* (Facebook)库构建的监督模型dict？*

gensim、fasttext

我认为底层字典对于监督(分类)和非监督(词嵌入)都是一样的。我想分析我为监督问题建立的分类模型(字向量)。但我犯了个错误。我知道Gensim还没有实现Fastext的监督学习，只关注单词嵌入。= FastText.load_fasttext_format('model_ups_tickets_rca.bin') File "/usr/local/lib/python3.5/dist-packages/ge

浏览 6提问于2020-08-24得票数 1

2回答

即使我有足够的内存，FastText* .bin文件也不能存储在内存中。*

python、gensim、fasttext

我正在尝试加载一个FastText预培训模型，该模型具有.bin文件的形式。.bin文件的大小是2.8GB，我有8GBRAM和8GB交换文件。)from gensim.models.wrappers import FastText model = FastTe

浏览 3提问于2019-10-16得票数 2

回答已采纳

3回答

Facebook快速文本bin模型UnicodeDecodeError

python、facebook、utf-8、gensim、fasttext

我从facebook (https://fasttext.cc/docs/en/crawl-vectors.html)下载了预先训练好的词向量文件(.bin)，但是当我尝试使用这个模型时，它碰巧出错了from gensim.models import FastText fasttext_model = FastText.load_fasttext_format('cc.ko.300.bin&#

浏览 41提问于2019-03-06得票数 0

回答已采纳

2回答

如何使用gensim快速文本包装器训练单词嵌入表示？

machine-learning、nlp、gensim、word-embedding、fasttext

然而，在遵循了教程之后，我无法正确地完成它。到目前为止，我尝试了：from gensim.models.fasttext import FastText as FT_gensim model_gensim.build_vocab(sentences=corpus)输出： <gensim.models.f

浏览 44提问于2019-07-15得票数 1

回答已采纳

1回答

使用预训练的Bert，Elmo获得两个单词之间的相似度分数

nlp、gensim、word2vec、word-embedding、elmo

我正在尝试使用预训练的维基模型来比较Glove，Fasttext，Bert，Elmo在两个单词之间的相似度。Glove和Fasttext有预训练的模型，可以很容易地与python中的gensim word2vec一起使用。Elmo和Bert有这样的模型吗？

浏览 74提问于2019-09-15得票数 1

1回答

用回调加载Gensim* FastText模型失败*

python、callback、gensim、jupyter-lab、fasttext

在使用Gensim创建了一个FastText模型之后，我想加载它，但是遇到了似乎与回调相关的错误。用于创建模型的代码是WINDOW = 5DIMS = 256 from gensim.models import FastText vocab

浏览 2提问于2019-10-04得票数 1

回答已采纳

1回答

如何将gensim创建的快速文本模型导出到二进制文件中？

python、nlp、gensim、fasttext

我试图将gensim创建的快速文本模型导出到二进制文件中。但是医生们还不清楚如何做到这一点。之后，当我想使用以下方法加载模型时：我进入了一个无限循环。在加载由fasttext.model函数创建的model.save('fasttext.model)时，将在大约30秒内完成。

浏览 2提问于2019-11-15得票数 4

回答已采纳

1回答

使用gensim加载经过训练的快速文本模型时遇到的问题

python、python-3.x、gensim、word-embedding、fasttext

我正在尝试加载一个经过训练的快速文本模型使用gensim。该模型已根据一些数据进行了培训。早些时候，我使用了model.save()并扩展了.bin，以便以后使用它。在训练过程中，使用model.save以.bin格式保存模型，分别生成3个文件。但我不明白为什么我会得到一个错误名为： NotImplementedError(“不支持受监督的fastText模型”) NotImpl

浏览 4提问于2020-03-14得票数 2

回答已采纳

点击加载更多