删除自定义停用词

文章/答案/技术大牛

发布

1回答

从pandas中的列列表中删除停用词时使用LookupError

python、pandas、text、nltk

我有一个包含100万条记录的数据集，如下所示<code>A0</code>自定义停用词= <code>C1</code><code>A2</code>代码错误 <

浏览 10提问于2018-12-18得票数 0

1回答

Javascript:使用字典从字符串中过滤单词？

javascript

我需要从一个字符串中过滤出几百个“停”字。因为有很多“停止”的词，我不认为这样做是个好主意： sentence.replace(/\b(?:the|it is|we all|an?在这个映射中，键本身就是一个停用词，值并不重要。则过滤将导致检查该单词是否不存在于停用词映射中。使用什么数据结构来构建这样的地图？

浏览 0提问于2012-02-23得票数 0

7回答

添加/删除带有空格的自定义停用词

python、nlp、stop-words、spacy

用空格添加/删除停用词的最好方法是什么？我正在使用token.is_stop函数，并希望对集合进行一些自定义更改。我正在看文档，但找不到任何关于停用词的东西。谢谢！

浏览 117提问于2016-12-16得票数 53

回答已采纳

1回答

如何在java中使用lucene添加自定义停用词

java、lucene、stop-words

我正在使用lucene删除英文停用词，但我的要求是删除英文停用词和自定义停用词。下面是我使用lucene删除英文停用词的代码。

浏览 2提问于2013-08-02得票数 4

1回答

只能在删除前执行预停钩子吗？

kubernetes、apache-zookeeper、kubernetes-custom-resources、kubernetes-operator

我的自定义资源操作符在被删除之前需要一些清理操作。它必须从ZooKeeper中删除特定的znode。在重新生成资源之前，不能执行这些操作。它们只能通过用户的删除命令来执行。只能在删除前执行预停钩子吗？或者，在删除资源之前，操作员是否有其他方法来执行清理逻辑？

浏览 11提问于2021-04-01得票数 0

1回答

在PySpark ML中创建自定义转换器

python、apache-spark、nltk、pyspark、apache-spark-ml

如何创建自定义标记器，例如删除停用词并使用中的一些库？我可以扩展默认的吗？

浏览 1提问于2015-09-01得票数 31

回答已采纳

1回答

如何自定义Lucene whiteSpaceAnalyzer来索引没有特殊字符的单词？

indexing、filter、lucene、special-characters、analyzer

我知道StandardAnalyzer删除了特殊字符，但它也不索引停用词和单个字符，我想索引停用词和单个字符。如何为此目的构建自定义分析器？也许是一个用"“替换非字母数字字符的过滤器？

浏览 15提问于2020-04-06得票数 0

1回答

自定义spacy停用词并保存模型

python-3.x、nlp、spacy、stop-words、spacy-3

我用它将停用词添加到spacy的停用词列表中但是，当我使用nlp.to_disk()保存nlp对象并使用nlp.from_disk()重新加载它时，我丢失了自定义停用词的列表。有没有一种方法可以用nlp模型保存自定义停用词？提前感谢

浏览 3提问于2021-03-04得票数 1

1回答

在搜索单个字母时，SQL 2012全文搜索有时会产生意外的结果

full-text-search、sql-server-2012

请考虑以下内容：它将与包含“毛绒布丁”的条目完全匹配。select * from cats where contains(catname, '"A B C"')现在考虑以下内容： select * from cats where contains(catname, '"A B C Fu

浏览 1提问于2013-06-13得票数 2

回答已采纳

1回答

为什么SQL Server 2012要应用我们的自定义非索引字表中没有的停用词？

sql-server

因此，我们从系统非索引字列表创建了一个自定义非索引字列表，并删除了令人不快的停用词:在本例中为'noord‘、'west’和'zuid‘。包含搜索词'noord‘的查询现在可以如预期那样产生结果。尽管正确使用了自定义非索引字表，但重新生成全文目录等操作仍会应用停止词“west”。为什么？

浏览 3提问于2015-12-06得票数 1

2回答

python、nlp、gensim

在NLP预处理步骤中，我正在尝试删除停用词。我使用gensim中的remove_stopwords()函数，但也想添加我自己的停用词 # under this method, these custom stopwords still show up

浏览 38提问于2020-07-09得票数 1

回答已采纳

1回答

Solr高级StopFilterFactory

solr、lucene、solrj、solr4、stop-words

我需要在Solr中使用高级停用词过滤器。我们有下一个索引结构。此索引将存储所有用户的数据。t

浏览 1提问于2015-03-27得票数 0

1回答

我正在处理weka中的一个分类问题，并使用smart 524停用词列表。我在weka中使用NGram标记器。它正确地从unigram中过滤停用词，但二元语法中包含停用词，例如"the east"，"the window“。我之前假设weka可能会首先过滤文本文档中的所有停用词，然后将它们转换为单字和双字，但这并不是发生在那里的事情。有没有办法从bigram中删除停用词?也许我需要另一个针对bigram的停用词文件？从二元语法中删除

浏览 0提问于2014-01-25得票数 2

2回答

使用word2vec时删除停止字

nlp、gensim、word2vec

我的问题是，我必须从我的输入文本中删除停用词吗？因为，根据我最初的实验结果，我可以看到像“of”，“when”这样的词。(停用词)当我做model.most_similar('someword')的时候弹出...？什么是必须做的预处理工作(就像主题建模一样，你几乎必须做停用词删除)？

浏览 1提问于2016-01-11得票数 21

回答已采纳

1回答

当我已经设置了文档频率的上限时，不删除停用词是不是很糟糕？

python、scikit-learn、nlp、text-mining、text-processing

删除停用词似乎是标准做法。然而，在我看来，如果我已经有了文档频率的上限，这意味着我不会包括文档中占很大比例的标记(例如max_df=0.8)，那么删除停用词似乎是没有必要的。从理论上讲，停用词是经常出现的词，应该排除在外。这样，我们就不必争论在我们的停用词列表中应该包括什么，对吧？我的理解是，对于哪些词使用得足够频繁，它们应该被视为停用词，存在分歧，对吧？例如，scikit-learn在其内置的英语停用词列表中包含"whereby“。

浏览 18提问于2019-07-11得票数 1

回答已采纳

4回答

使用NLTK删除停止字

python、nlp、nltk、stop-words

我试图通过使用nltk工具包删除停用词来处理用户输入的文本，但是使用停用词删除时，像'and'，'or'，'not‘这样的单词会被删除。我希望这些单词在停用词删除过程后出现，因为它们是以后将文本作为查询处理所需的运算符。我不知道哪些词可以作为文本查询的运算符，我也想从我的文本中删除不必要的词。

浏览 78提问于2013-10-02得票数 78

回答已采纳

1回答

MySQL全文匹配/对照显示不总是结果

mysql、full-text-search、full-text-indexing

我有以下表格设置： `fulltext_id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT 'Entity ID', PRIMARY KEY (`fulltext_id`),) ENG

浏览 2提问于2017-11-03得票数 0

1回答

可以从Postgresql的文本搜索字典中排除一个特定的停用词吗？

postgresql、dictionary、full-text-search、tsvector

我创建了这个自定义字典TEMPLATE = pg_catalog.simple,但是，将删除以下停用字：这个词否定了下一个词，在意义上是至关重要的。我们怎样才能从停用词列表中删除这个词呢？

浏览 5提问于2020-05-15得票数 0

2回答

如何访问RTextTools中的停用词列表？

r、stop-words

虽然已经有关于向RTextTools提供自定义停用词列表的答案，但我想了解访问现有/默认停用词列表的任何命令。

浏览 11提问于2017-07-01得票数 0

回答已采纳

3回答

如何从大型文本文件中删除停用词？

perl、stop-words

我有一个.regex文件，其中包含我想要从数据(文本)中删除的所有停用词。grep { $scalarText =~ s/\b\Q$_\E\b/ /g } @stopList; 这需要很长时间才能执行。如何在我的Perl脚本中使用.regex文件来删除停用词？或者有没有更快的方法来删除

浏览 3提问于2010-11-01得票数 2

点击加载更多

从pandas中的列列表中删除停用词时使用LookupError

Javascript:使用字典从字符串中过滤单词？

添加/删除带有空格的自定义停用词

如何在java中使用lucene添加自定义停用词

只能在删除前执行预停钩子吗？

在PySpark ML中创建自定义转换器

如何自定义Lucene whiteSpaceAnalyzer来索引没有特殊字符的单词？

自定义spacy停用词并保存模型

在搜索单个字母时，SQL 2012全文搜索有时会产生意外的结果

为什么SQL Server 2012要应用我们的自定义非索引字表中没有的停用词？