2回答
如何向MeCab添加停用词？
nlp、stop-words、mecab
我想在MeCab中添加一些停用词，比如“我”、“你”之类的。但是我在MeCab的手册上找不到任何关于stopword的信息。
浏览 1提问于2012-10-25得票数 4
2回答
在python中删除停用词和标记化
python-3.x、natural-language-processing
我有以下输入数据，我想要删除此输入中的停用词，并希望执行标记化： input = [['Hi i am going to college', 'We will meet next time possiblemachine learning specialization'],
['Machine learnin is my favorite subject' ,'Here i am using python</e
浏览 28提问于2019-03-18得票数 2
回答已采纳
1回答
如何在gensim中减小字典大小？
python、dictionary、gensim
我使用python gensim包在20个新闻组数据集上拟合了一个分层Dirichlet过程(HDP)主题模型，我发现我的主题信息量不是很大(最高的单词概率非常小)。我正在使用标准的文本预处理，包括标记化、停用词删除和词干提取。我在想，减小字典大小可以帮助生成更有意义的主题。在gensim中，有哪些方法可以减少字典的大小？
浏览 0提问于2017-04-20得票数 1
1回答
停止字删除功能的问题
python、nlp、nltk
我一直在构建一个停用词删除函数，但我不确定我做错了什么。我有一个列表，里面有标记化的句子，在这些标记化的句子中是标记化的单词。在这个函数中，我的目标是创建一个新列表，循环遍历列表中的句子，然后循环遍历句子中的单词，检查它们是否为停用词，并使用非停用词标记附加到新列表中。尽管感觉这很合乎逻辑，但
浏览 7提问于2021-08-12得票数 1
3回答
在Python中删除不带标记化的停用词
python、stop-words
我正在尝试从练习中的字符串列表中删除停用词：，我的解决方案如下：labels = [] sentences.append(sentence)
但是当我对单词进行标记化时
浏览 0提问于2019-09-14得票数 1
1回答
如何从带有标记化数据的数据帧中删除停用字？
python、dataframe、nlp、nltk、stop-words
我正在尝试从dataframe中删除停用词。每行只有一个名为text的列，我在其中存储了文章的所有段落。 这是我尝试的第一种方法。)
df['text'][x] = ' '.join(i)
df 奇怪的是，这并没有从df['text']中删除停用词中的所有单词我不知道为什么，所以我转向了标记
浏览 19提问于2021-04-09得票数 1
1回答
Tfidf矢量器
scikit-learn、nlp、tokenize、tfidfvectorizer
我从文本评论中获取了一个用于预测情绪的数据集，最初，我清理了数据(删除标点符号，删除停用词，标记化)。当我尝试将标记化的数据作为TFIDF向量器的输入时，我得到的是AttributeError：'list‘对象没有'lower’属性。请帮我改掉这个错误。
浏览 0提问于2020-01-21得票数 1
1回答
Bigram包含weka中的Stopword？
machine-learning、weka
我正在处理weka中的一个分类问题，并使用smart 524停用词列表。我在weka中使用NGram标记器。它正确地从unigram中过滤停用词，但二元语法中包含停用词，例如"the east"，"the window“。我之前假设weka可能会首先过滤文本文档中的所有停用词，然后将它们转换为单字和双字，但这并不是发生在那里的事情。
有没有办法从bigram中<
浏览 0提问于2014-01-25得票数 2
1回答
在Lucene搜索引擎中使用自建方法
java、lucene、full-text-search、search-engine、keyword-search
我正在寻找一个合适的搜索引擎，我可以在其中使用我自己的相似性度量和标记化方法。Lucene搜索引擎就是为这个目的而引入的一个很好的引擎，但我对此一无所知。我的一些问题如下：
是否有可能改变相似性度量、标记化和词干提取方法，并使用Lucene中的自建类？如果是，怎么做？，我们如何索引关键字搜索和短语搜索的文本有什么区别吗？我应该为关键字搜索和短语搜索建立两个不同的索引吗？(我认为如果删除停用词，会影响
浏览 36提问于2018-06-03得票数 0
1回答
使用Wordnet获取词根
python、nlp、nltk、wordnet、lemmatization
例：
python狐猴在使用词性(Pos)标记参数时给出了“概括”、“广义”和“泛化”，但不用于“泛化”。
浏览 0提问于2016-09-03得票数 6
回答已采纳
1回答
使用python的数据库自然语言接口
python、sql、database、nlp
我正在做一个与使用python的自然语言处理相关的项目。在我的项目中，我有我的数据库和一些与财务相关的数据，我必须创建自己的页面，如果我给出一个问题，例如what is the net income of apple?我已经完成了对给定问题的标记化，并删除了其中的停用词。我无法转换令牌并将其添加到查询中。如果有人能给我提供你的想法，我将非常感谢。
浏览 0提问于2018-05-08得票数 0
1回答
是否可以在PySpark中解除DataFrame的标记？
python、apache-spark、pyspark、nlp、tokenize
在标记化并删除停用词之后，我想要取消标记化剩余的单词并导出到csv。这有可能吗？%pythonfrom pyspark.sql import SparkSession
spark = SparkSession.builder.appName
浏览 18提问于2021-02-17得票数 1
3回答
在使用Spacy，Bert时，是否有必要对文本分类进行停用词删除、词干提取/词汇化？
nlp、spacy、text-classification、bert-language-model
当使用Spacy，Bert或其他高级NLP模型来获得文本的向量嵌入时，文本分类是否有必要进行停用词删除、词干提取和词汇化？Text=“婚礼上供应的食物非常美味”
1.由于Spacy，Bert是在巨大的原始数据集上训练的，在使用bert/spacy生成用于文本分类任务的嵌入之前，在这些文本上应用停用词删除、词干提取和词汇化是否有任何好处2.我可以理解，当我们使用countvectorizer，tfidf向量器
浏览 4提问于2020-08-28得票数 7
1回答
如何使用停用词的自定义词典从dataframe列中删除英文停用词
python、pandas、dataframe、tweets
我需要对tweet进行标记化，删除停用词，然后将此输出添加到新列中。我不能导入任何东西，除了numpy和pandas。停用词在字典中如下所示： stop_words_dict = { 'where', 'done', 'if', 'before', 'll', 'very
浏览 40提问于2020-04-01得票数 0
回答已采纳
1回答
为collocationbigramfinder NLTK删除停用词和标记化
python、nltk、tokenize、stop-words
我本质上是从一个文本文件中读取，过滤掉停用词，并使用NLTK对它们进行标记。
浏览 0提问于2014-01-04得票数 4
回答已采纳
1回答
当我已经设置了文档频率的上限时，不删除停用词是不是很糟糕？
python、scikit-learn、nlp、text-mining、text-processing
我在处理文本。删除停用词似乎是标准做法。然而，在我看来，如果我已经有了文档频率的上限，这意味着我不会包括文档中占很大比例的标记(例如max_df=0.8)，那么删除停用词似乎是没有必要的。从理论上讲，停用词是经常出现的词，应该排除在外。这样，我们就不必争论在我们的停用词列表中应该包括什么，对吧？我的理解是，对于哪些词使用得足够频繁，它们应该被视为停用词，存在分歧，对吧？例如，sci
浏览 18提问于2019-07-11得票数 1
回答已采纳
1回答
手动将搭配添加到gensim词组
gensim、topic-modeling
我希望能够将术语标记为“do-support”和“it-cleft”作为一个单词，因为它们是特定的语言术语。然而，如果我在删除停用词之后创建Gensim模型，将找不到这些搭配(因为它们包含停用词)，如果我在删除停用词(或者不包括' it‘或’do‘的停用词)之后创建模型，它会识别出一大堆不相关的搭配。
浏览 0提问于2017-08-22得票数 2
3回答
Python -从标记列表到词袋
python、pandas、scikit-learn、nlp、nltk
我有一个带有文本列的pandas dataframe，我正确地对其进行了标记化、删除停用词和词干。最后，对于每个文档，我都有一个字符串列表。我正在用NLTK自己做预处理，并希望保持这种方式…["hello", "world"]应转换为[2,
浏览 0提问于2018-01-27得票数 3
1回答
新闻博客的特征提取
python、machine-learning、deep-learning、web-crawler、data-science
这些功能以标签的形式讲述了行业、特定的产品、工具和类似的东西。我已经做了一部分抓取，但现在我被实体识别卡住了。我做了数据处理(标记化、数据清理、删除停用词/标点符号、词干/词汇化)。
浏览 26提问于2020-03-12得票数 0
回答已采纳
3回答
Stop Word Library For Sentiment Analysis工具
java、sentiment-analysis、stop-words、google-prediction
我有一些标记的训练数据，我将使用它们来训练模型。由于这是从社交媒体收集的数据，句子中的大多数单词都是停用词，所以我想在训练模型之前删除它，这是否有助于提高准确性？在java中有没有什么库可以用来删除这些停用词，而不是构建我自己的停用词集。
致敬Deepesh
浏览 7提问于2015-02-12得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号