MySQL -长文本域上的词频计数

文章/答案/技术大牛

发布

1回答

mysql、sql、word-count

我有一个MySQL表，其中一个字段包含文本描述(大约5-200个单词)。我想做一些词数统计分析，比如一般的词频统计(每个单词出现的次数)或每个类别的前K个单词。word countplace 2 ...有没有一种方法可以在不涉及编程语言的情况下仅用MySQL完成？

浏览 28提问于2017-07-01得票数 0

回答已采纳

2回答

MySQL查询中的单词频率评分

mysql、select、syntax-error、aggregate-functions

我正在处理一个由2列组成的单表数据库:一个整数wordID和varchar。该表有几千行长，是通过编程读取大量文本并在一个空间上拆分，然后将单个单词插入数据库中创建的。我想要做的是计算每个单词的计数(我自己做的)，以及每个单词的“分数”--也就是说，一个单词mush在数据集中显示一个分数的最少次数，这个分数与单词的频率成反比，在1-10的范围内。人们的</

浏览 4提问于2013-11-13得票数 1

回答已采纳

3回答

Python词频统计程序

python-2.7、word-frequency

我用python创建了一个简单的单词统计程序，它读取一个文本文件，统计词频，并将结果写入另一个文件。问题是，当单词重复时，程序会写入同一单词的初始计数和最终计数。例如，如果单词" hello“重复3次，程序将在输出中写入3个hello实例，如下所示：你好-1你好-3counts ={} counts我是python的新手。

浏览 0提问于2014-02-19得票数 1

2回答

我们可以训练Spacy进行文本摘要吗

nlp、spacy、spacy-3

Spacy可以训练NER，文本分类。我们可以使用它的功能进行摘要，所以我们可以训练spacy来提高摘要的准确性吗？

浏览 67提问于2021-09-22得票数 0

10回答

使用python进行排序词频统计

python、sorting、word-frequency

我必须使用python计算文本中的词频。我想把单词保存在字典里，并对每个单词进行计数。现在，如果我必须根据出现次数对单词进行排序。我是否可以使用相同的字典，而不是使用一个新的字典，该字典将键作为计数，将单词数组作为值？

浏览 7提问于2010-11-03得票数 39

回答已采纳

2回答

首先，我希望根据文本匹配筛选行。第二，我想选择一个特定的列，并为该列中的所有单词生成单词频率。第三，我要绘制单词和频率。我已经弄清楚了第一部分。我的问题是如何在dataframe上应用Counter()。如果我只使用计数器(Df)，它会返回一个错误。因此，我使用以下代码将每一行转换为列表，然后应用计数器。当我这样做时，我分别得到每一行的单词频率(如果我在for循环中使用计数器，否则我只得到一行<e

浏览 5提问于2021-04-07得票数 0

回答已采纳

3回答

从网页中剥离HTML并计算词频？

java、html、groovy、html-content-extraction、text-extraction

在Groovy中，如何抓取网页并删除HTML标记等，只留下文档的文本？我希望将结果转储到一个集合中，这样我就可以构建一个词频计数器。最后，让我再提一次，我想用Groovy来做这件事。

浏览 2提问于2008-10-16得票数 4

回答已采纳

1回答

是否有算法从给定的一组单词中识别出最突出的单词？

word、similarity、wordnet

我试图从一组随机词中找出一个单词的重要性。举例来说，我想知道“意外”是“男人、女人、意外”这两个字中最重要的字眼。一个简单的解决方案是为每个单词获得一个WordNet深度，并根据单词深度中的不同来计算单词的重要性。这个解决方案非常耗时，因为这需要n(n-1)计算才能产生最终的重要性。是否有更好的解决方案来处理这种情况？

浏览 0提问于2014-02-21得票数 2

回答已采纳

3回答

朴素贝叶斯，不是那么天真吗？

machine-learning、neural-network、classification、weka、naivebayes

我有一个朴素的贝叶斯分类器(用WEKA实现)，它可以查找大写字母。contains_Bcontains_Z 对于某个类，单词LCD几乎出现在训练数据的每个实例中。当我得到"L“的概率时，我得到的是纯0，而"LC”的概率是0.002。既然特征是幼稚的，那么L、C和D不是应该独立地贡献总体概率吗，因此"L“具有一定的概率，"LC”更多，"LCD“更多？同时，对于MLP，相同的</em

浏览 0提问于2012-12-11得票数 1

2回答

txt文件中的Python计数器

python、text-files、counter

我想从单词频率计数的文本文件中插入一个collections.Counter对象。134044.8 999 fallen 345 29 326.6我想要一个计数器对象这样我可以调用[('the', 225300), ('of', 15748

浏览 4提问于2015-05-28得票数 0

回答已采纳

3回答

在自然语言处理中有没有减少词汇表大小的好方法？

machine-learning、deep-learning、nlp、gensim

在处理文本分类、问答等任务时，从语料库生成的原始词汇量通常太大，包含许多“不重要”的单词。我见过的最流行的减少词汇量的方法是丢弃停用词和低频词。但在实践中，设置最小计数是经验上的，似乎并不十分准确。我注意到词汇表中每个单词的词频通常遵循长尾分布，如果我只保留前K个单词占X% (95%，90%，85%，...)，这是一个好方法吗？占总词频的比例？或者，有没有什么明智

浏览 0提问于2020-02-11得票数 1

3回答

将一个输入文件与给定数量的文件匹配的算法

c++、c、string、algorithm、string-matching

我被困在算法圈里的一个问题里。我回答了这个问题，但面试官似乎并不信服。这就是为什么我要分享同样的东西。有20个文本文件，所有文件都是ASCII文本文件，大小小于10^9字节。也有一个输入，这也是一个ASCII文件，比如说，input.txt。我们的任务是将此输入文件的内容与给定的20个文件进行战略性匹配，并打印最接近匹配文件的名称。输入文件<

浏览 3提问于2013-04-04得票数 7

1回答

从什么时候起，MySQL开始像对待文本科尔一样对待VARCHAR？

mysql、database、text、varchar

我知道，从MySQL 5开始，VARCHAR的长度可以达到65,000。VARCHAR是内联存储的，这意味着更快的检索，而不是存储在表之外的TEXT。尽管如此，文档指出MySQL将精确地对待LONG VARCHAR TEXT。从存储前景来看，文本和长VARCHAR都由Innodb以相同的方式处理。MySQL什么时候开始像对待文本一样对待VARCHAR？MySQL是在什么字

浏览 1提问于2011-07-01得票数 7

回答已采纳

5回答

跟踪/计数词频

algorithm、indexing、word-frequency

我想在一个好的设计上获得一些社区的共识，以便能够存储和查询单词频率计数。我正在构建一个应用程序，在这个应用程序中，我必须解析文本输入并存储一个单词出现的次数(随着时间的推移)。因此，考虑到以下投入： Word CountTo 1A2Bird 1Pla

浏览 8提问于2010-05-17得票数 8

回答已采纳

1回答

文本东京化后的单月不同词频

python、tensorflow、keras、plot、nlp

我在NLP上做了一些工作，我做了一些标记化和文本预处理的任务，同时发现：def len_distribution(X):len_distribution([x.split() for x in X])标记化(序列)后的词频： tokenizer = tf.keras.preprocessing.text.Tokenizertokenizer.fit

浏览 4提问于2020-11-17得票数 1

回答已采纳

1回答

Python :文件中的单词频率

python-2.7

我在python中创建了一个简单的单词计数程序，它读取文本文件，计数单词频率，并将结果写入另一个文件。现在的问题是，如果我想搜索"windows“并且文本文件包含一个单词"xwindows”，那么它也会计算它。windowswindowshwindowsqwindowskwindows所以我想要的实际输出是4，因为

浏览 3提问于2017-04-07得票数 1

回答已采纳

1回答

使用矩阵1中的索引从矩阵2中提取行

python、arrays、matrix、numpy、sparse-matrix

我有两个矩阵，一个是文本，另一个是文本中的单词频率。我从字频矩阵中删除一行。然后如何使用文本号(从文本矩阵中提取行索引)从单词频率矩阵中提取一行？这基本上意味着删除一个文本，因为train_range中只有52行索引。在下面的示例中，删除了第一行(第0行)，因为0不在train_range中步骤3:获取文本的单词频率然后对文本</e

浏览 2提问于2012-09-07得票数 0

1回答

脚本在本机java中构建单词对及其频率。

java

这是我第一次编程，我们的任务是在文本文件中同时查找单词频率和词对频率。我在网上学习了几个教程，并实现了一个相当快的单词计数解决方案，但是我不知道如何在ho上实现一个方法来获取文本文件中的所有单词对，并总结重复单词对的频率，然后再添加到一个数组(hashmap)中。我试着询问我的指导员，但是他坚持让我们自己解决这个问题，请给我一个正确的方向指向一篇论文/文章/教程(任何我能读到<e

浏览 3提问于2022-05-18得票数 -2

2回答

从多个字典创建数据

python、pandas、dataframe

我有多个字典，其中包含一系列文本文件的词频计数。我正在试图找到一种将它们整理成dataframe的方法(因此，有一个dict =一个文本文件=df中的一行)，但我对Python相当缺乏经验，也不确定如何处理。我有大约50个文本文件/字典，但为了简单起见，我有以下内容；mydict2 = {'

浏览 1提问于2018-02-15得票数 3

回答已采纳

点击加载更多