我一直试图在一个大型语料库上执行tf-idf启发式算法。 是否可以迭代地读取文档，并调用 vectorizer.fit() 在每次迭代中？这是只考虑当前的迭代，还是记住以前的迭代？ 谢谢!
浏览 16提问于2019-01-15得票数 2
回答已采纳
sklearn.feature_extraction.text import TfidfVectorizerX_train_tfidf.shape
clf.fit(X_train_tfidf,y_train)
到目前为止，只有训练集被向
浏览 1提问于2020-07-09得票数 1
回答已采纳
我想要创建管道，它将在模型预测之后对y变量进行逆变换。X变量标量变换预拟合对象:-X sclrsvr模型对象：-模型实现看起来就像pipe = Pipeline(steps=[(StandardScaler(), Xsclr), (
浏览 0提问于2020-07-24得票数 2
我的目标是绘制这个LogisticalRegression分类器的决策边界，看看每个文档属于哪个类，以及在图上将两个类分开的边界。在此过程中，我想了解LogisticalRegression到底是如何处理TfidfVectorizer中的向量的。这是因为到目前为止我看过的所有示例都是基于只有简单标量进入分类器的假设来绘制决策边界，但在本例中我们有长向量(tfidf)...我不明白一个向量是如何转换成图上表示的单个值的(它是向量中所有分数的总和吗
浏览 16提问于2021-03-05得票数 0
1回答
我相信我需要的信息往往在文档的开头，所以我想以某种方式捕捉每个文档的每个特性的偏移量(第一次出现，或者所有外观的平均偏移量)。有什么向量器能做到吗？或者其他有效地提取这些信息的方法？
谢谢!
浏览 0提问于2020-03-19得票数 3
2回答
我试图删除在我的词汇表中发生一次的单词，以减少我的词汇量。我在数据框架上使用sklearn ()，然后使用fit_transform函数。tfidf = TfidfVectorizer() 我首先想到的是tfidf向量器中的预处理字段，或者在机器学习之前使用预处理包。
浏览 6提问于2017-08-22得票数 7
这是一个不安全感，我与sk-学习的管道。每当我在sk中创建一个管道-学习并使用这个管道做一些预测，我似乎遇到了一个问题，我不能实际检查管道的中间步骤。预测是可行的，我得到了我的分数，但是如果我想获得实例中的“特性重要性”，或者检查TF-下手向量器的特性是什么，则声称管道不合适(即使它是最近用于推理的，而且我已经对它进行了培训)。举个例子，从Scikit- 的文档中调用以下代码片段的可以进行预测，但是当我想检查管道的tfidf时，它声称
浏览 0提问于2020-04-15得票数 0
在将文本特征传递给分类算法之前，我使用Smarkml下手估计器/模型(TF)将文本特征转换成向量。Test data<br>Apply(Transform) model on Unseen data<br>
我在某个地方读到以色列国防军在拟合过程中究竟学到了什么，它可以重用来转换任何新的数据集。也许，为|D|和DF|t, D|保留相同的值，同时使用新的TF|t, D|？
浏览 0提问于2016-11-01得票数 4
回答已采纳
4回答
我知道tfidf vectorizer的公式是我看到了在scikit学习中存在着tfidf转换器，我只想区别它们。
浏览 0提问于2019-02-18得票数 6
回答已采纳
我试图在Scikit学习中使用LinearSVC构建一个线性分类器。= vectorizer.fit_transform(review_corpus)
主要问题是:如何获得测试数据的矩阵表示？目前，我不知道如何从测试集中不同文档的向量器中
浏览 1提问于2019-03-17得票数 1
我正在尝试移植一个在scikit中训练的sklearn特性管道--学习V0.21到scikit-学习V0.24，因为我没有原始的特性数据来再次训练管道。如果我使用新的数据，特征维度和位置可能与下面的模型无关，因为我在管道中有DictVectorizer。Pipeline(memory=None,
浏览 34提问于2021-12-08得票数 2
回答已采纳
我对文件进行分类，所以我也把tf-国防军的向量器推到管道上。confusion_matrixpipeline = Pipeline([
('tfidf(Scikit-学习0.17)
浏览 3提问于2016-01-19得票数 30
下面的示例演示如何使用Sklearn 20新闻组数据训练分类器。>>> categories = ['alt.atheism', 'talk.religion.misc', 'comp.graphics', 'sci.space']
>>> newsgroups_train = fetch_20newsgroups(subset='trai
浏览 1提问于2013-10-29得票数 2
回答已采纳
我正在使用scikit-学习0.18和python 3.5## SGD: support vector machine (SVM) withPipeline([ ('tfidfsklearn.model_selection import GridSearchCV
par
浏览 0提问于2016-11-01得票数 14
回答已采纳
我熟悉tfidf向量器。为什么会这样呢？例如，tfidf不能只用于向量化，然后在LDA模型中输入吗？
浏览 9提问于2018-07-25得票数 0
回答已采纳
我需要一种方法来标准化tfidf或计数向量器在scikit中-学习这一点。
浏览 10提问于2019-07-04得票数 0
回答已采纳
我正在研究一个文本分类问题，在Python3中，使用sklearn。我理解Tfidf方法还会查看其他数据集中的特性，这就是为什么我现在将TfidfVectorizer应用于旧的dataset+the新文本。但是有什么办法我可以用一种渐进的方式去做吗？
浏览 0提问于2019-06-06得票数 1
回答已采纳
我正在使用python学习，在结果中出现了一些奇怪的东西。作为基线，我从使用countvectorizer开始，实际上正在计划使用tfidf向量器，我认为它会更好地工作。但它不..。特别是这一个得到了一个更低的性能与tfidf。
有人知道什么时候或者为什么tfidf的表现比计数差吗？我需要为我的论文正规化。
浏览 0提问于2016-07-05得票数 7
1回答
我检查了各种svm分类器，这些分类器使用特征/值对格式进行分类。(我的重点是svmlight - )格式如下：但是当我以纯文本的形式获得用户输入时，为了使用svmlight对其进行分类，我需要将纯文本转换成这种格式。
浏览 2提问于2014-10-01得票数 0
1回答
基于SVM的垃圾邮件检测综述
、、、、
我的任务是将它们分类为垃圾邮件，或者不使用Python中的SVM。
如何将文本数据集转换为支持向量机功能？是否需要考虑其他特征，如果需要，如何将它们转换为支持向量机特征向量？
浏览 8提问于2015-01-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
