fasttext新版本中的predict_proba
fastText是一个用于文本分类和文本表示的开源库，由Facebook AI Research开发。它使用了基于词袋模型的文本表示方法，并结合了n-gram特征和线性模型进行分类。predict_proba是fastText库中的一个函数，用于预测文本分类的概率。
在fastText的新版本中，predict_proba函数被用于预测文本分类的概率分布。它接受一个文本作为输入，并返回一个包含各个类别的概率分布。这个概率分布表示了文本属于每个类别的可能性。
使用predict_proba函数可以帮助我们了解文本分类任务中每个类别的置信度，从而更好地理解模型的预测结果。通过分析概率分布，我们可以确定模型对于不同类别的预测准确性，并根据需要进行后续的处理或决策。
在云计算领域中，fastText的predict_proba函数可以应用于各种文本分类任务，如情感分析、垃圾邮件过滤、文本主题分类等。通过使用fastText库，开发人员可以快速构建和部署高效的文本分类模型，从而提高应用程序的智能化程度。
腾讯云提供了自己的云计算产品，如腾讯云AI开放平台、腾讯云机器学习平台等，这些产品可以与fastText相结合，为开发者提供更全面的解决方案。具体的产品介绍和相关链接地址可以在腾讯云官方网站上找到。
相关·内容
我们已经使用Facebook的Fasttext惊人的图书馆一段时间了。我们使用python包装器()访问经过训练的模型。它曾经是一个第三方图书馆，但现在是Facebook的，并与他们的合并。
问题是这两个包装器不兼容。旧的通过import fasttext (低驱动)导入，新的通过import fastText导入。API也有点不同。但是最重要的是，新的库不支持由旧的Fasttext版本训练的模型，而旧的库支持它们，但是不支持新的训练版本。
我们计划将我们所有的模型迁移到新的Fasttext版本(它有量化，而且据说更快)，但是我们需要时间来支持这两种类型的模型。所以我们需要两个包装纸并排工作。
浏览 0提问于2018-07-03得票数 0
回答已采纳
1回答
我收到了以下试图运行模型的错误消息：
Exception: fastText: Cannot load model.bin due to C++ extension failed to allocate the memory
我使用的代码如下：
import wget
from fasttext import load_model
wget.download("https://dl.fbaipublicfiles.com/fasttext/supervised-models/amazon_review_polarity.bin", 'model.bin')
浏览 4提问于2020-05-23得票数 0
回答已采纳
我已经构建了一个有16个类的分类器。我需要排名前三的预测类。我过去常常使用较老版本的快速文本，并且为了获得我使用的概率，给出了
mymodel = fasttext.load_model("path to saved model")
mymodel.predict_proba(_mysentence, k= 3)
但当我尝试使用fasttext=0.9.1时，系统提示该功能不存在。
AttributeError: '_FastText' object has no attribute 'predict_proba'
在新版本中如何修改以获取前3个
浏览 225提问于2020-02-11得票数 0
我正在尝试使用FastText Python API ，尽管据我所知，该API不能像中建议的那样在中加载更新的.bin模型文件
我已经尝试了在这个问题上提出的所有建议，而且没有英文版的.bin，否则问题就会解决。有没有人知道解决这个问题的办法？
浏览 56提问于2017-08-29得票数 9
我使用data进行分类。我没有拆分数据。以下是我的代码： classifier = fasttext.supervised('cooking.stackexchange.txt', 'model',
label_prefix='__label__')
result = classifier.test('cooking.stackexchange.txt')
print('P@1: ', result.precision)
print('R@1: ', result.recall) 结果是: na
浏览 49提问于2019-03-07得票数 0
我试图将gensim创建的快速文本模型导出到二进制文件中。但是医生们还不清楚如何做到这一点。我到目前为止所做的事：
model.wv.save_word2vec_format('model.bin')
但这似乎不是最好的解决办法。之后，当我想使用以下方法加载模型时：
fasttext.load_facebook_model('model.bin')
我进入了一个无限循环。在加载由fasttext.model函数创建的model.save('fasttext.model)时，将在大约30秒内完成。
浏览 2提问于2019-11-15得票数 4
回答已采纳
我发现model.predict和model.predict_proba都给出了一个相同的2D矩阵，表示每行每个类别的概率。
这两个函数的区别是什么？
浏览 6提问于2016-11-23得票数 26
1回答
我用Python语言训练了一个FastText模型，并将文件保存到一个文件夹中。以下是该文件夹的内容：
fasttext.model
fasttext.model.trainables.syn1neg.npy
fasttext.model.trainables.vectors_ngrams_lockf.npy
fasttext.model.trainables.vectors_vocab_lockf.npy
fasttext.model.wv.vectors.npy
fasttext.model.wv.vectors_ngrams.npy
fasttext.model.wv.vectors_v
浏览 7提问于2021-03-10得票数 0
1回答
是否可以使用多线程访问快速文本模型(gensim)？
目前，我正在尝试加载一个模型一次(由于大小和加载时间)，这样它就会留在内存中，并连续数千次访问其相似性函数。我想并行地做这件事，我目前的方法使用了一个包装器类，它加载模型，然后传递给工作程序。但是它看起来没有返回任何结果。
包装器类。启动一次。
from gensim.models.fasttext import load_facebook_model
class FastTextLocalModel:
def __init__(self):
self.model_name = "cc.de.300.bin
浏览 0提问于2020-03-28得票数 0
我正在使用Ubuntu 16.04，并尝试使用以下命令(从他们的网站)通过终端安装fasttext： $ wget https://github.com/facebookresearch/fastText/archive/v0.2.0.zip
$ unzip v0.2.0.zip
$ cd fastText-0.2.0
$ make 但是当我尝试这样做的时候，我得到了以下错误： c++ -pthread -std=c++0x -march=native -O3 -funroll-loops -c src/args.cc
c++ -pthread -std=c++0x -march=nativ
浏览 7提问于2019-05-18得票数 0
1回答
我想使用FastText进行一些情绪分析。然而，在声明库的过程中，我总是会出现错误，而且网络中的任何示例和教程似乎都无法修复这个问题。
我尝试遵循这里描述的步骤：
但从一开始，也就是
import fasttext
from fasttext import train_unsupervised
我得到了以下错误：
---------------------------------------------------------------------------
ImportError Traceback (most recent c
浏览 4提问于2020-05-23得票数 0
回答已采纳
我对fasttext和NLP还不熟悉。我在法语中有一个语料库，结构如下：
| value | sentence | pivot |
|-------|--------------------------------|----------|
| 1 | My first [sentence] | sentence |
| 0 | My second [word] in a sentence | word |
| .. | ... | ...
浏览 0提问于2019-04-01得票数 0
我在Gensim中训练了一个FastText模型。我想用它来编码我的句子。具体地说，我想在原生FastText中使用这个特性：
./fasttext print-word-vectors model.bin < queries.txt
如何将模型保存在Gensim中，以便它是本机FastText可以理解的正确的二进制格式？
我使用的是Python3.4.3下的FastText 0.1.0和Gensim 3.4.0。
本质上，我需要中给出的load_binary_data()的逆函数。
浏览 3提问于2018-05-04得票数 0
我使用FastText生成单词嵌入。我从下载了预先训练过的模型，模型有300个维，但是我想要100个维，所以我使用了减少模型命令，但是我得到了一个错误。
import gensim
model = gensim.models.fasttext.FastText.load_fasttext_format('cc.th.300.bin')
gensim.models.fasttext.utils.reduce_model(model, 100)
我得到了AttributeError: module 'gensim.utils' has no attribute &#
浏览 3提问于2021-10-20得票数 0
回答已采纳
1回答
我有一个预先训练好的Fasttext模型，我想把它嵌入到Keras中。 model = Sequential()
model.add(Embedding(MAX_NB_WORDS,
EMBEDDING_DIM,
input_length=X.shape[1],
input_length=4,
weights=[embedding_matrix],
trainable=False)) 但它并没
浏览 14提问于2020-03-26得票数 0
回答已采纳
1回答
有没有一种方法让model.wv.most_similar在gensim中只返回正义词(即表示同义词，而不是反义词)？
例如，如果我这样做：
import fasttext.util
from gensim.models.fasttext import load_facebook_model
from gensim.models.fasttext import FastTextKeyedVectors
fasttext.util.download_model('en', if_exists='ignore') # English
model = load_fa
浏览 1提问于2021-07-19得票数 2
回答已采纳
1回答
我正在进行网络抓取，我将utf-8保存到csv，清理它，现在我正在尝试创建我的培训和测试文件，以便能够使用Facebooks，现在这就是我所拥有的，它给了我一个错误。
from sklearn.cross_validation import train_test_split
y_all = df["normalized"]
X_all = df.drop('normalized', axis = 1)
X_train, X_test, y_train, y_test = train_test_split(X_all, y_all, `test_size=0.
浏览 5提问于2017-04-15得票数 1
1回答
我下载了fasttext model li.176.bin。如果我在文件夹中使用model在本地运行我的代码，一切都很好。但我需要在GC中运行它，所以，我将模型上传到存储桶中，并将路径从本地更改为gs存储桶，得到一个错误：ValueError: gs://models/fasttext-model/lid.176.bin cannot be opened for loading!我如何使用存储桶中的模型？ path_to_pretrained_model = 'gs://models/fasttext-model/lid.176.bin'
fasttext_model = f
浏览 68提问于2021-07-10得票数 1
2回答
背景
我想执行代码来使用fastText对每种文本的语言进行分类。
我所做的
下载了模型lid.176.bin
安装python绑定
$ git clone https://github.com/facebookresearch/fastText.git
$ cd fastText
$ pip install .
上面的模型lid.176.bin和文件夹fastText与下面的python代码所在的级别相同。
我不知道如何避免这个错误。
错误
ImportError: No module named fastText
代码
sample.py
from fastTex
浏览 4提问于2021-01-12得票数 2
回答已采纳
当尝试在gensim中上传快速文本模型(cc.nl.300.bin)时，我得到以下错误： !wget https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.nl.300.bin.gz
!gunzip cc.nl.300.bin.gz
model = FastText_gensim.load_fasttext_format('cc.nl.300.bin')
model.build_vocab(cleaned_text, update=True)
AttributeError: 'FastTextTrainab
浏览 17提问于2021-06-19得票数 0
回答已采纳
我试着从上加载经过预先训练的载体。
我的代码在下面，运行良好。
from gensim.models import FastText
model = FastText.load_fasttext_format('./wiki.en/wiki.en.bin')
但是，这个警告信息有点烦人。
gensim_fasttext_pretrained_vector.py:13: DeprecationWarning: Call to deprecated `load_fasttext_format` (use load_facebook_vectors (to use pretraine
浏览 0提问于2020-05-28得票数 5
回答已采纳
我正在使用FastText.load_fasttext_format()在谷歌Colab中加载fastText官方日语训练模型(300dim)。这是我的代码。 model_path = "/content/drive/MyDrive/IDR/rakuten/wikipedia_fastText/cc.ja.300.bin"
model = FastText.load_fasttext_format(model_path) 这是编码错误。 ----------------------------------------------------------------------
浏览 62提问于2021-09-30得票数 0
目前，我正在研究堆栈溢出标记预测器，其中我使用的是快速文本。 当我运行这行代码时，我安装了fasttext： import fastText as fasttext
from fastText import train_supervised 我得到了错误 ImportError Traceback (most recent call last)
<ipython-input-176-72aec327c85a> in <module>
----> 1 from fastText import tra
浏览 77提问于2020-01-30得票数 1
回答已采纳
1回答
我想使用pip安装fasttext。但是fasttext需要Cython。错误可以在这里看到：
Complete output from command python setup.py egg_info:
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/tmp/pip-install-3if14395/fasttext/setup.py", line 3, in <module>
浏览 6提问于2018-08-17得票数 1
回答已采纳
fasttext_model.save("fasttext.model")
fast_text = FastText.load("fasttext.model")
我无法加载经过训练的快速文本模型：(我如何解决此问题？请帮帮我！
浏览 2提问于2020-11-09得票数 0
1回答
我在我的python库中使用了快速文本模型(来自官方的fasttext库)。为了运行我的u-test，我需要一个尽可能轻的模型(fasttext.FastText._FastText对象)，这样我就可以在我的存储库中对其进行版本控制。 我尝试创建了一个包含5行"fake.txt“和几个单词的假文本数据集，并调用 model = fasttext.train_unsupervised("./fake.txt")
fasttext.util.reduce_model(model, 2)
model.save_model("fake_model.bin")
浏览 15提问于2020-10-23得票数 0
回答已采纳
我尝试通过conda使用两个通道安装fasttext：
conda install -c conda-forge fasttext
和
conda install -c conda-forge/label/cf201901 fasttext
根据()。
我使用以下命令导入：import fasttext，但是，导入失败时出错：
ModuleNotFoundError跟踪(最近一次调用)在->1导入快速文本中
ModuleNotFoundError:没有名为“快速文本”的模块
然而，试图以一种旧的方式导入import fastText，但失败了。
已经在python和python3
浏览 2提问于2019-10-01得票数 8
我正在使用Azure机器学习和Azure数据库。在中，我使用%%命令编写了一个script.py (%写script.py)。
在这个脚本中，我尝试加载cc.fr.300.bin，它保存为中的一个模型。
我做了这个：
import fasttext
fr_model_path = os.path.join(os.getenv('AZUREML_MODEL_DIR'), 'cc.fr.300.bin')
fr_model = fasttext.load_model(fr_model_path)
但我有个错误：
File "/structure/azurem
浏览 31提问于2022-02-08得票数 -2
我想在Azure ML Studio上安装Facebook C++库的Python 包装器。此库已在我的笔记本电脑上安装并正常工作。
我尝试按照Azure堆栈溢出线程中的说明进行上传，但没有成功。
我的“执行Python脚本”中的代码非常简单:我只是解压缩并加载我在本地机器上安装的fastText包，然后调用fastText模块的"train_supervised“属性上的帮助函数来验证包是否正确导入
# The script MUST contain a function named azureml_main
# which is the entry point for this m
浏览 0提问于2019-06-11得票数 0
我刚开始深入学习，我正在尝试使用一个来自的预先训练过的单词嵌入模型。我下载了以下文件：
1)sa-d300-m2-快速文本.模型
2)sa-d300-m2-fasttext.model.trainables.syn1neg.npy
3)sa-d300-m2-fasttext.model.trainables.vectors_ngrams_lockf.npy
(4)sa-d300-m2-Quicktext.model.wv.vectors.npy
5)sa-d300-m2-fasttext.model.wv.vectors_ngrams.npy
6)sa-d300-m2-fasttext.mod
浏览 1提问于2020-08-28得票数 1
回答已采纳
请原谅我在这里的新鲜感，但是快速文本并不适用于我的python。我使用的是运行python 3.6的anaconda。我的代码如下(只是一个例子)：
import fasttext
model = fasttext.load_model('/home/sproc/share/fastText/model.bin')
print(model.words)
这将返回以下错误：
Traceback (most recent call last):
File "/media/sf_VBoxShare/LiClipseWorkspace/test/testpack/fas
浏览 10提问于2017-07-28得票数 2
我正在建立nlp预处理，使用经过预处理的FastText模型来查询和保存单词向量。我遇到了FileNotFoundError: [Errno 2] No such file or directory: 'fasttext': 'fasttext'，此时无法解决它。
这是一个nlp临床文本相似性项目，我正在工作。我加倍检查以确保所有文件和文件夹都在目录中。我还想指出，我同时使用了floydhub和google，以确保这不是一个环境问题。我经历了两次这个过程，结果都犯了同样的错误。第二只眼睛肯定能帮上忙。
复制命令快速文本打印向量model.bin < wor
浏览 0提问于2019-07-29得票数 0
回答已采纳
1回答
我刚刚训练了我的快速文本模型，我试图使用pins、 和vetiver 来控制版本。
但是，要做到这一点，我需要选择快速文本对象/模型。那就是我一直在挣扎的地方。
PS:当我将快速文本模型保存到磁盘时，它将保存为.bin或二进制文件。下面是使用pins时代码的外观
import pins
import fasttext
board = pins.board_temp(allow_pickle_read = True)
board.pin_write(ft_model, "ft_model", type="joblib") #ft_model is a fastt
浏览 9提问于2022-08-16得票数 1
回答已采纳
fasttext_embeddings = WordEmbeddings('en-crawl')
fasttext = Embeddings(fasttext_embeddings, min_similarity=0, model_id="FastText")
tfidf = TFIDF(min_similarity=0, model_id="TF-IDF")
rapidfuzz = RapidFuzz(n_jobs=-1, score_cutoff=0, model_id="RapidFuzz")
matchers = [tf
浏览 8提问于2022-06-07得票数 0
predict_proba返回神经网络中的错误
我看到了这个链接上的例子
我使用的是Tensorflow版本: 2.6.0
代码：
#creating the object (Initializing the ANN)
import tensorflow as tf
from tensorflow import keras
LAYERS = [
tf.keras.layers.Dense(50, activation="relu", input_shape=X_train.shape[1:]),
tf.keras.layers.LeakyR
浏览 18提问于2021-08-29得票数 3
当我试着跑的时候 import fasttext.util
fasttext.util.download_model('en', if_exists='ignore') 我得到以下错误 AttributeError: module 'fasttext.util' has no attribute 'download_model'
浏览 36提问于2020-03-25得票数 0
回答已采纳
1回答
我训练了一个机器学习句子分类模型，该模型除其他特性外，还使用了从经过预先训练的fastText模型(如)中获得的向量( 7Gb )。我使用经过预先训练的fastText意大利语模型:我使用这个词嵌入只是为了获得一些语义特征，以输入到有效的ML模型中。
我构建了一个基于fastText的简单API，它在预测时计算有效的ML模型所需的向量。在遮罩下，这个API接收一个字符串作为输入并调用get_sentence_vector。当API启动时，它将fastText模型加载到内存中。
如何减少加载到内存中的fastText的内存占用量？
制约因素：
我的模型工作得很好，训练既费时又昂贵，所以我不想
浏览 32提问于2022-06-29得票数 0
回答已采纳
我将非常感谢如果我能得到你的帮助，我想使用快速文本的windows 10 (快速文本与mac和linux的正式工作)，我已经安装了这个提示的基础
然后我想在下面运行这段代码(train prodigy sesne2vec)
我相信我的电脑里有正确的快速文本
我试着运行这个
但是我遇到了这个错误
我使用了这个命令
!python 04_fasttext_train_vectors.py -c 10 "C:/Users/moha/Documents/Models/Debug/fasttext.dll" " ../data/output02" "
浏览 2提问于2020-04-09得票数 1
我正在使用fastText获取相似的单词。我已经训练了我的模型，但当我使用model.most_simlar时出现错误。
下面是我的代码：
from pprint import pprint
import gensim
from gensim.models import FastText
pprint(test_model.most_similar('room', topn=10))
这就是错误。
AttributeError: '_FastText' object has no attribute 'most_similar'
--------
浏览 14提问于2021-09-27得票数 0
2回答
我编写了一个简单的flask web服务来使用fastText进行预测。我想把它们放进码头。我的Dockerfile是这样的： FROM python:3
WORKDIR /app
COPY . .
RUN pip3 install -r requirements.txt
RUN git clone https://github.com/facebookresearch/fastText.git /tmp/fastText && \
rm -rf /tmp/fastText/.git* && \
mv /tmp/fastText/* / &
浏览 3提问于2020-12-13得票数 0
1回答
我想为1GB大小的文本数据创建一个无监督的fastText模型。我正在使用fastText命令行工具来实现模型培训过程。
./fasttext skipgram -input PlainText.txt -output FastText-PlainText- -dim 50 -epoch 50
以上是我用来创建单词表示的几个参数。
Read 207M words
Number of words: 501986
Number of labels: 0
Progress: 97.5% words/sec/thread: 87224 lr: 0.001260 avg.loss: 0.0
浏览 1提问于2021-07-21得票数 1
回答已采纳
1回答
我正在做一个使用FastText的文本相似度项目，我找到的训练模型的基本例子是： from gensim.models import FastText
model = FastText(tokens, size=100, window=3, min_count=1, iter=10, sorted_vocab=1) 据我所知，由于我指定了向量和ngram大小，模型在这里是从头开始训练的，如果数据集很小，我会检测出很好的结果。 我发现的另一个选择是加载原始的维基百科模型，这是一个很大的文件： from gensim.models.wrappers import FastText
model
浏览 28提问于2019-09-05得票数 2
我正在建立牛顿引力方程模型。它接收两个质量和一个半径，并输出它从公式中产生的东西。
F = G \frac{m1 · m2}{r^2}
我现在想把它转换成二进制分类模型，因为我选择了一个阈值。如果力在0以下，则为1。
问题
考虑到上述问题，我如何创建一个predict_proba函数？
浏览 0提问于2020-09-19得票数 1
回答已采纳
我需要所有支持predict_proba()方法的学习分类器的列表。由于文档提供了获取这些信息的不容易的方法，那么如何通过编程获得这些信息呢？
浏览 8提问于2015-05-05得票数 24
回答已采纳
2回答
我正在尝试使用FastText的法语预培训二进制模型(从官方下载)。我需要的是.bin模型，而不是.vec字向量，以便近似拼写错误和词汇量不足的单词。
但是，当我尝试加载上述模型时，使用：
from gensim.models import FastText
model = FastText.load_fasttext_format('french_bin_model_path')
我得到以下错误：
NotImplementedError: Supervised fastText models are not supported
令人惊讶的是，当我尝试加载英语二进制模型时，它工
浏览 2提问于2018-07-23得票数 5
我正在尝试构建fastText (Facebook的学习单词表示和句子分类的库)，并尝试遵循他们的Github页面上的说明：
$ git clone git@github.com:facebookresearch/fastText.git $ cd fastText $ make
我安装了GnuWin32并添加到路径中，以便使用make函数。我在Windows 10上。
但是，我得到了以下错误：$ make c++ -pthread -O3 -funroll-loops -std=c++0x -c src/args.cc process_begin: CreateProcess(NULL, c
浏览 4提问于2016-08-07得票数 2
回答已采纳
我尝试在python3.6下的windows10上安装pyfasttext，就像here解释的那样。我有来自mingw的g++，clang LLVM7.0.1，并将它们都放在环境变量上。我设置USE_CYSIGNALS=0是因为我在windows上。但当我运行该命令时： python setup.py install 我得到了以下错误： File "setup.py", line 66, in build_extensions
if 'clang' in self.compiler.compiler[0]:
AttributeError: 'M
浏览 42提问于2019-03-05得票数 0
回答已采纳
我刚刚安装了来自的快速文本包。然后我尝试了这个网站上的例子：
import fasttext
# Skipgram model
model = fasttext.skipgram('data.txt', 'model')
print model.words # list of words in dictionary
# CBOW model
model = fasttext.cbow('data.txt', 'model')
print model.words # list of words in dictionary
然而，
浏览 0提问于2016-10-06得票数 0
我正在尝试加载一个FastText预培训模型，该模型具有.bin文件的形式。.bin文件的大小是2.8GB，我有8GBRAM和8GB交换文件。不幸的是，该模型开始加载，占用了几乎15 it，然后由于以下错误而中断：
Process finished with exit code 137 (interrupted by signal 9: SIGKILL)
通过观察系统监视器，我可以看到内存和交换空间都被占用了，所以我认为它坏了，因为它内存不足。
我试图使用Gensim包装器为FastText加载该文件
from gensim.models.wrappers import FastText m
浏览 3提问于2019-10-16得票数 2
回答已采纳
我手动安装了also文本，也使用pip安装了它。但是当我使用这个代码时，model = fastText.train_supervised(input=training_data_path, **hyper_params)
output：没有名为“fastText”的模块
也是这个代码：model = fasttext.train_supervised(input=training_data_path, **hyper_params)
输出：fasttext文本‘没有属性'train_supervised’
我已经安装并遵循了文档，仍然没有修复。
浏览 3提问于2020-11-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
