如何简化文本含义相同但不精确的大数据集的文本比较-文本数据去重

文章/答案/技术大牛

发布

1回答

python-3.x、machine-learning、nlp、duplicates、cosine-similarity

我有大约180万条记录的文本数据集(不同的菜单项，如巧克力，蛋糕，可乐等)，属于6个不同的类别(类别A，B，C，D，E，F)。其中一个类别大约有70万条记录。我想识别那些错误分类的项目，并向人员报告，但挑战是项目名称并不总是正确的，因为它完全是人工键入的文本。例如:巧克力可能会被更新为热巧克力，甜巧克力，巧克力等。也可以有巧克力蛋糕;) 因此，为了处理这个问题，我尝试了一种简单的方法，使用余弦相似度

浏览 18提问于2020-09-04得票数 0

5回答

使用php将txt文件导入到mysql表中

php、text、import

我有包含数据的文本文件。文本文件中的每一行包含12个用空格分隔的数据。我想导入相同的mysql表，每个数据去各自的字段。数据应该追加到表中。我知道如何使用html表单附加数据，但不知道文件操作。

浏览 3提问于2014-01-16得票数 0

1回答

如何解决不正确的字符串值MySQL错误？

mysql、python-3.x

为此，我将使用.dumps()对矩阵进行序列化，并将我的字典放到np.arrays中并进行序列化。这就是我想要的：sinais_entry = np.array([serie.sinais]).dumps()这是我的MySQL表：+--------+----------------+------+-----+---------+-------+ | Field(序列化的字典长度超过

浏览 1提问于2019-07-20得票数 0

回答已采纳

1回答

从DBI查询中为perl中的文本字段获取两种不同的长度

mysql、perl、dbi

我在mysql表中将加密数据存储为文本字段。所有内容最初都是用Windows perl编写的，现在仍然可以正常工作。我的问题是，我在Linux上运行相同的代码，当我查询表时，perl中的文本结果告诉我它更长(这会导致我的解密失败，因为它太长了)。运行相同的脚本时会发生这种情况，因此我知道没有代码差异。Linux perl是5.12.3Windows perl是5.10.1有问题的

浏览 3提问于2013-04-12得票数 0

回答已采纳

1回答

理解机器学习，NLP:使用scikit-learn，python和NLTK进行文本分类

python、machine-learning、scikit-learn

我尝试使用本文中给出的示例，除了我尝试使用我自己的数据，而不是使用本教程使用的20个新闻组数据集之外，我尝试使用我自己的数据，这些数据由文本文件组成，这些文本文件位于/home/pi/ /中，其中train下的每个子目录都是一个标签，如/home/pi//FOOTBALL/ /ho

浏览 0提问于2019-12-27得票数 2

1回答

数据库(mysql)数据类型选择:文本与二进制

mysql、database-design

与BLOB或BINARY数据类型相比，选择文本数据类型的权衡是什么？我不打算对列进行索引，也不打算在WHERE子句中使用它，它只是数据库中的数据，恰好是文本数据。不过，如果我选择的数据类型有性能或存储优势，那就更好了……谢谢!

浏览 0提问于2010-07-13得票数 1

回答已采纳

3回答

测量数据质量的技术和实践是什么？

algorithm、artificial-intelligence、data-quality

如果我有一个描述物理“事物”的大型数据集，我如何去衡量这些数据与它应该表示的“事物”有多匹配呢？举个例子，如果我有一个装有12个小部件的板条箱，我知道每个小部件重1磅，应该有一些数据质量“检查”，以确保箱子重13磅。除了图像以外，我

浏览 14提问于2009-05-14得票数 2

1回答

如何将mysql中的属性设置为二进制？

mysql

我成功地用BLOB类型创建了新的列文件，但现在需要将属性设置为二进制，并遇到问题。我尝试过修改ALTER列表修改属性二进制；ALTER修改文件二进制；没有使用Thanx。

浏览 3提问于2020-03-29得票数 0

回答已采纳

1回答

在搜索屏幕中使用JQGrid

asp.net、jqgrid

嗨(对不起，我的英语很糟糕)我已经在JQGrid上读了大约4天了。小的例子效果很好。但每次加载页面时，该示例都会显示一个单独填充的网格。我想有一个搜索屏幕(一个像谷歌的文本框)，并在jqGrid中显示答案(在帖子消息)。我见过一些带有数据类型的代码，而另一些带有jsonReader...but的代码则不完整。我完全迷路了。我只想在json post中填充网格，当我尝试的时候，我只能在屏幕上得到文本形式的</e

浏览 0提问于2016-09-28得票数 0

1回答

由于与训练集生成规则相关的特性而导致的过度拟合

machine-learning、neural-network、feature-engineering、training、overfitting

我的模型在坚持测试集(我的训练集的一部分)上表现很好，精确度在99%左右。然而，当我将模型应用于未标注的数据时，它只能将67%的观测数据分类到任何类别，甚至在考虑这些分类的正确性之前！但是，我输入层的最大特性之一是嵌入用于生成训练集的相同文本。因此，匹配生成训练集的单词也被嵌

浏览 0提问于2019-12-04得票数 4

回答已采纳

2回答

如何以PHP格式保存客户端输入的文本？

php

我想将一些文本保存到我的数据库中，这些文本可以由客户端使用PHP和MySQL输入。假设我有一个文本区域，我想保存准确的布局，客户端是如何输入文本的。我所说的精确布局是指：之后，我想以相同的格式向他们显示它。当然，当我们输出文本时，任何HTML标记都会被清除掉。

浏览 4提问于2014-03-21得票数 0

回答已采纳

2回答

验证/测试集唯一性问题

classification、nlp、cross-validation、training、text-classification

希望这是一个简单的问题，但对于如何最好地分离训练/验证/测试集，我有点不清楚。我说了100个A类的例子，我把文本分为A类(我所关心的)或B类(可能是世界上的任何文本)。显然，我有更多的B类的例子。当我将数据拆分为train/validate/测试集时，测试集(它根本不用于培训/调优)是否必须没有用于培训的

浏览 0提问于2021-12-16得票数 0

回答已采纳

1回答

用Python检测剽窃

python、nlp、fuzzy-logic

背景世界上最美丽的事物是看不见或摸不到的，它们是用心去感受的。下列引文应得分较高(例如，80 /100以上)：因为他们不精确，但他们维护秩序。另一

浏览 0提问于2018-04-05得票数 4

回答已采纳

4回答

如何找到TIBCO Rendezvous消息的字节编码？

java、character-encoding、nio、tibco

在我的Java应用程序中，我将TIBCO RV消息以字节形式归档到一个文件中。我正在写一个小的实用程序，将播放消息。这样，我就可以从字节创建一个TibrvMsg对象，而不必解析文件并手动构造对象。我遇到的问题是，我正在读取一个在Linux机器上创建的文件，并试图在Windows机器上运行我的应用程序。由于写入文件的字符集不同，我得到了一个错误。所以现在，我想要做的是用一个特定的字符集(UTF-8)记录每条消息，这样

浏览 8提问于2009-05-26得票数 1

回答已采纳

2回答

Mysql ASCII vs Unicode

mysql、unicode、utf-8、ascii

简单说一句：谢谢!

浏览 7提问于2009-09-20得票数 3

回答已采纳

1回答

python - sklearn潜在Dirichlet分配变换诉Fittransform

python、scikit-learn

我正在使用sklearn的NMF和LDA子模块来分析未标注的文本。我阅读了文档，但不确定这些模块中的转换函数(NMF和LDA)是否与R的主题模型中的后验函数相同(请参见)。基本上，我正在寻找一个函数，它将允许我使用训练集数据训练的模型来预测测试集中的主题。我预测了整个数据集上的主题。然后将数据分解为训练集和测试

浏览 3提问于2016-11-14得票数 7

回答已采纳

1回答

如何比较Python中的两个大文本文件？

python、machine-learning、text、nlp、text-processing

数据集：我有两个不同的文本数据集(用于训练和测试的大型文本文件，每个文件包含30,000句句子)。部分数据如下：“富尔顿县大陪审团星期五说，对亚特兰大最近的初选进行的调查表明，没有证据‘任何违规行为’发生。” 问题：我如何将训练中未见的测试数据中的每个单词替换为Python中的</em

浏览 2提问于2019-10-01得票数 0

1回答

如何搜索.txt和检索数据

java、android、search、delimiter

使用该id，它将搜索文本文件，如果找到，它将在单独的文本视图中显示内容。483,Phil,01-19-1992文本文件位于res/raw/players.txt 有一个按钮的onClick我有点不确定我应该使用什么类型的阅读器，以及如何搜索它的内容。

浏览 0提问于2014-11-02得票数 0

1回答

规则中的组合与或

7、rules

我有一个字段A(日期)和字段B(时隙)的内容类型。该规则需要检查字段A是星期一还是星期三，以及字段B中的时间是16:00或17:00或18:00或19:00 (在星期一)还是13:00或14:00或15:00或16:00 (星期三)。我已经设置了我的规则，如屏幕截图所示，但遗憾的是，不管我使用什么组合或缩进，它都行不通.📷

浏览 0提问于2016-07-06得票数 3

回答已采纳

2回答

IL代码与IL程序集:有区别吗？

c#、.net

如果我运行一个.NET编译器，它会生成一个包含中间语言代码(IL)的文件，并将其放入.exe文件(例如)。IL代码和IL程序集之间有区别吗？

浏览 1提问于2015-11-05得票数 8

回答已采纳

点击加载更多