1回答
我试着在一个项目中使用sklearn的TfidfVectorizer，但Tfidf Vectorizer似乎占用了很多时间…… import spacy
from sklearn.feature_extraction.textmatrix = vectorizer.fit_transform(corpus) 模型'ja_core_news_lg'来自here，语料库文件大小为2.7 GB，stop_words是长度小于100的数组矢量器已经运行了超过48小时，所以我想知道是否有更有效<
浏览 14提问于2021-01-04得票数 1
我试图用SVC在sklearn上解决一个文本分类问题。我还想检查哪一个向量器最适合我的数据:单词包CountVectorizer()或TF-IDF TfidfVectorizer()features_train_cv = count_vectorizer.fit_transform(features_train)
from sklearn</e
浏览 0提问于2019-08-05得票数 2
回答已采纳
我有在文档集合上运行基本TF-IDF向量器的代码，返回一个D×F的稀疏矩阵，其中D是文档数，F是词数。没问题。
但是如何在文档中找到特定术语的TF-IDF分数呢？也就是说，在术语(在它们的文本表示中)和它们在结果稀疏矩阵中的位置之间是否存在某种字典？
浏览 0提问于2015-06-22得票数 7
回答已采纳
1回答
最近我想做一些小小的nlp任务，面临着一些奇怪的事情。也就是说，我已经运行了以下代码 (0, 2) 0.5773502691896258 (0, 1) 0.5773502691896258
一份文件的文件不应该是零吗
浏览 0提问于2021-12-15得票数 2
回答已采纳
我正在尝试使用scikit-learn中的Tf-idf向量器，使用来自NLTK的西班牙语停用词：问题是我得到以下警告：
/home/---/.virtualenvs/thesis/local/lib/python2.7/site-package
浏览 9提问于2014-08-22得票数 3
我正在训练一个关于文本描述和对应于它们的标签的预测模型。我正在使用SVC来训练具有tf idf加权词频的语料库。我想知道是否有一组新的数据(测试，而不是这里使用的训练测试分割)是我想要分类的，是否应该使用tf idf向量化。如果是，应该单独对测试数据进行测试，还是与训练数据一起进行？
浏览 2提问于2019-06-26得票数 0
1回答
所以我有下面的表格，每一行都是一个文档，每一列都是单词，没有单词的出现。|doc|apple|banana|cat| |1|2|0|0| |3|0|2|0|
有没有办法把这些计数向量表转换成tf-idf向量化器编辑:我的解决方案。如果这是正确的，请告诉我。
浏览 0提问于2019-09-28得票数 0
2回答
使用tfidf作为功能
、、、、
一种方法是使用tfidf提取每个文档的重要单词，然后生成如下所示的csv文件： document, ngram1, ngram2, ngram3, ..., label
1, 0.0, 0.0, 0.0但由于文档数量的限制，文件将变得庞大而稀疏。另一种方法是合并每个组中的所有文档并提取ngram。在此之后，我可以计算每个ngram在每个文档中的出现次数，但我不确定这是最好的方法。请提供您建议的解决方案。
浏览 30提问于2021-02-08得票数 0
1回答
这是我的矢量化代码 analyzer='word', strip_accentsvectorizer.transform(data['text'])
pickle.dump(tfidf, open('tfidf.pickle', 'wb'))当我打开矢量器</e
浏览 2提问于2019-10-24得票数 3
我已经将我的数据分成了训练部分和测试部分。我的数据表有一个'text‘列。考虑一下，我还有另外十列表示数字特征。collect numerical features
df_combined_train = pd.concat([df1_tfidf_train, df2_train], axis=1) 为了计算测试部分的tf-idf相关帖子： 1：仅讨论创建训练数据集部分 2：讨论了测试数据部分，但不清楚如何生成同时包含术语和数字特征的测试数据框架。
浏览 29提问于2020-04-10得票数 0
1回答
向量化器Python中的单词组合
、、、、
我有一个包含医学文本数据的数据集，我对它们应用tf-idf向量器，并计算单词的tf idf得分，如下所示：from sklearn.feature_extraction.textl=vect.get_feature_names()
所以基本上我的问题是这样的-当我应用TfidfVectorizer时
浏览 15提问于2017-08-15得票数 4
回答已采纳
4回答
我知道tfidf vectorizer的公式是
Count of word/Total count * log(Number of documents / no.of documents where word我找不到任何有用的东西。
浏览 0提问于2019-02-18得票数 6
回答已采纳
我实现了一个基于TF-IDF向量器(sklearn)的基本(几乎所有默认选项)搜索程序，用于根据用户查询搜索一些文档。 我也尝试在python中使用Whoosh来实现相同的功能。with myindex.searcher(weighting=scoring.TF_IDF()) as s: 这样，我假设它应该会给出与TF-IDF向量器的sklearn实现有点类似的结果，但只返回一个命中我如何得到类似的结果，也就是说，使用类似于sklea
浏览 34提问于2019-08-26得票数 0
1回答
我已经转换了一些文档来创建TF-IDF向量器。现在我想按TF-IDF值的降序处理搜索查询并返回页面列表。我能够得到查询词在‘词汇表’中的位置。但是，由于它是一个稀疏矩阵，我无法读取该索引处的tf-idf值。任何帮助都将不胜感激。问候
浏览 1提问于2017-02-03得票数 0
我了解如何使用向量器获取IDF值和词汇表。对于词汇，单词的频率是值，单词是字典的关键字，但是，我希望值是idf值。# list of text documents for word in total_dict.keys
浏览 0提问于2019-07-27得票数 0
dataset = { 1: 'blabla lablab', 3: 'zyxzyxz'转到sklearn.feature_extraction.text.TfidfVectorizer
浏览 9提问于2016-08-11得票数 1
回答已采纳
如何运行sklearn TFIDF向量器(和计数向量器)来作为并行作业运行？类似于其他sklearn模型中的n_job=-1参数。
浏览 0提问于2015-02-09得票数 15
我想获取tf-idf值最高的单词。我创建了一个tf-idf矩阵：sentences = sklearn_tfidf.get_feature_names()
dense_tfidf =tfidf_matrix.todens
浏览 2提问于2017-10-12得票数 3
1回答
ValueError:将1D数据传递给需要2D数据的转换器。
数据是2D的！
preproc = ColumnTransformer([('bow & tf-id
浏览 0提问于2020-03-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
