1回答
我大体上理解CountVectorizer的工作原理。它接受word标记并创建文档(行)和标记计数(列)的稀疏计数矩阵，我们可以将其用于ML建模。然而，它如何处理可能出现在测试数据中的新词，而这些新词没有出现在训练数据中？它会忽略它们吗？此外，从建模的角度来看，是否应该假设如果某些单词非常罕见，以至于它们根本没有出现在训练数据中，并且它们与您可能执行的</
浏览 16提问于2021-02-16得票数 2
我被创建了一个朴素的Bayes模型来预测结果是“负”还是“正”。我遇到的问题是在一个新的数据集上运行模型，其中一些词不在模型中。我在预测新数据集时收到的错误是：我读到，我必须在我的模型中放置一个Laplace平滑器，Bernoulli()已经有一个默认的alpha值为1，我还能做些什么来修复我的错误呢？谢谢
from nltk.corpus import stopword
浏览 4提问于2015-04-14得票数 2
回答已采纳
我有一个CountVectorizer，它产生了一个2034行4063列(唯一的单词)的文档术语矩阵。我保存了用于新测试数据的模型。我的新测试数据但问题是，我将上面的测试数据标记转换为特征向量，但它的形状不同。因为模型期望的向量是4063。我
浏览 0提问于2015-05-17得票数 2
下面是我调用todense()时的代码和内存错误，我使用的是GBDT模型，并且想知道是否有人有好的想法如何处理内存错误？谢谢。for feature_colunm_name in feature_columns_to_use: X_test[feature_colunm
浏览 0提问于2018-09-05得票数 1
回答已采纳
我正在使用sklearn python包，而且我很难用预先创建的字典创建CountVectorizer，其中CountVectorizer不会删除只出现一次或根本不出现的特性。train_count_vect.get_feature_names())输出89967 len(test_count_vect.get_feature_names())输出9833
在setup_data()函数中，我只是在初始化CountVectorizer。对于训练数据，我是在没有预设词汇表的</em
浏览 0提问于2015-02-21得票数 2
回答已采纳
1回答
import pandas as pdtfidf_testing_feature_matrix=feature_selection_vector( sentence_data, sentiments ):
#creates the f
浏览 14提问于2021-03-03得票数 0
1回答
我已经使用泡菜包将模型保存到一个文件中。现在，我想知道如何使用这个模型像一个随机文本一样测试，而不是在数据集中，而模型会判断句子是否属于哪一类？和我的想法一样，我有句话：“罗纳尔多在对埃及的比赛中进了两个球”，并将其传递给模型档案，并将其归为“体育”。
浏览 0提问于2018-03-26得票数 0
回答已采纳
我正在处理一个问题，在这个问题上，我需要预测与培训数据文件中的另一个文本相对应的文本。例如:如果我的值类似于我的一个列中的软件，而另一个相应的列中包含一个值adobe，那么我的算法也应该能够对我的测试数据进行预测。例如，如果我的测试数据有Tableau，那么预测的类别应该是对应于它的软件。这里
浏览 0提问于2019-08-10得票数 2
我使用训练集中每个文档的向量表示(即文档项矩阵中的一行)来构建文档分类器。现在我需要测试测试数据上的模型。但是，我如何用文档术语矩阵来表示一个新文档，因为有些术语可能不包含在培训数据中？
浏览 0提问于2020-05-05得票数 2
onehot_enc，BernoulliNB：print("recall_score :" , recall_score) //97%
CountVectorizer但
浏览 1提问于2018-09-11得票数 0
回答已采纳
我有一个训练日期集，我知道分类的标签，而测试数据集我没有标签。
vectorizer = CountVectorizer(encoding='str', stop_words="english", analyzer='word')
浏览 18提问于2021-11-14得票数 0
我注意到，与Sci-kit学习中不同的是，CountVectorizer的CountVectorizer实现使用套接字库，因此我无法对其进行筛选。我试着查看CountVectorizer源代码，但看不到套接字库的任何明显用途。"
浏览 2提问于2022-03-24得票数 0
回答已采纳
我有以下带有数据的数据：1079 COMPUTER long text.... 3from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayesX_test, y_train, y_test
浏览 0提问于2018-11-25得票数 1
回答已采纳
为了准备一个标签云，我想从文本中获取最相关的单词。我使用了来自scikit-learn包的CountVectoriser： stop_wordscounts = cv.fit_transform([text]).toarray().ravel()我可以过滤掉不常出现的词我的</e
浏览 4提问于2013-02-07得票数 3
1回答
我正在尝试用一些训练和测试数据训练支持向量机模型。因此，测试集自然比trainset.so具有更多的特征数，其给定值误差。preprocess(): testData=load_file()
count_vectorizer
浏览 0提问于2016-11-22得票数 3
我有一个python脚本，它将文本分为正的或负的。我有一个数据集，在对我得到的文本进行预处理之后，我将它分割成训练和测试数据。对训练数据的准确率为91%测试数据的准确性为87%测试数据
浏览 6提问于2020-07-22得票数 0
然而，doc2vec的gensim实现似乎需要在训练模型之前查看所有文档(训练和测试)来构建词汇表。否则，如果要获取构建词汇表时不存在的文档的文档向量，则会得到keyerror。我想知道我的理解是否正确！在实践中，人们无法在训练时访问测试数据。
有没有办法在测试时更新词汇表，以便能够获得测试文档的文档表示？
浏览 1提问于2016-05-01得票数 2
通常，当我只使用CountVectorizer时，我可以将词汇表用作CountVectorizer的新对象的参数，以便在预测之前处理新数据 cv = CountVectorizer()cv_dict = cv.vocabulary_test_X= test_cv.fit_transform(te
浏览 29提问于2019-05-29得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
