Spark多标签分类

文章/答案/技术大牛

发布

1回答

apache-spark、scikit-learn、pyspark

我希望用Spark实现，这是一种具有多输出的多标签分类算法，但令我惊讶的是，Spark机器学习库中没有任何模型可以做到这一点。要查看scikit学习中的代码，请单击以下链接：

浏览 35提问于2016-08-26得票数 11

2回答

如何在Apache Spark中进行多标签分类

apache-spark、mahout

我想在大数据集上进行多标签文本分类，似乎Apache Mahout或Spark MLLib等大数据机器学习工具目前还不支持这一点。我想知道以前有没有人做过大数据集的多标签分类？在不久的将来，是否有计划在Mahout或Spark中集成多标签分类？

浏览 13提问于2015-06-26得票数 5

1回答

火花1.5.1:训练许多二进制分类器，保存它们，然后在新的数据上使用它们

classification、multiclass-classification、multilabel-classification

我有一个DataFrame，表示带300个标签的带注释的数据集。标签列，将每个标签的存在或不存在表示为特征向量的注释(我们在第二列中可以看到)。什么是最好的方法和最佳做法，以培训我的分类器

浏览 0提问于2015-11-04得票数 2

1回答

如何在Java中使用spark实现多标签分类

java、apache-spark、machine-learning、apache-spark-ml、multilabel-classification

我已经建立了一个模型，根据主题(特征)中的关键字将电子邮件分类为10个不同的work_categories (标签)。然而，这个任务可能包括电子邮件应该被归类在多个标签上的可能性。例如:一封主题为“服务证书并转移它们”的电子邮件应该分为两个标签，即Servicing Worktype (标签1)和Transfer Worktype (标签2)。在我当前的程序中，这只分配给标签1。在java中，我是否可以使用spark将电子邮件分类到两

浏览 0提问于2019-07-31得票数 0

1回答

文本分类:多文本分类与多类文本分类

machine-learning、text-classification、multilabel-classification

我有一个关于处理多标签分类问题的方法的问题。由于单个标签问题可以被描述为二进制分类(如果有两个标签)或多类分类问题(如果有多个标签，即labels>2)，目前的转换方法似乎都将多标签问题转化为多个二进制问题。在这种情况下，对于一个测试文档，每个经过训练的单标签多类分类器将预测是否分配标签，而所有这些单标签

浏览 5提问于2016-03-02得票数 1

1回答

多标签和多标签-多类分类的区别是什么？

machine-learning、multiclass-classification、multilabel-classification

我正试图将新闻文章分类为它们所需的类别。然而，我对上述术语(多标签和多标签-多类)感到困惑。我的数据集由2个csv文件组成。第一个文件包含新闻文章的内容。同一对应行号中的第二个文件由与其关联的标签组成。下面是第二个文件(即标签文件)中的示例条目：因此，对于第1行，第一个csv文件包含了标题为体育和足球的新闻文章。同样，对于第2行，第一csv中的文章有运动和媒体的标签。我的问题是，这是数据集多标签</em

浏览 0提问于2019-06-11得票数 2

回答已采纳

2回答

Spark ML多类分类问题的评价指标

apache-spark-ml

我正在寻找一个使用Spark-Scala的多类分类示例，但我还找不到。具体地说，我想训练一个分类模型，并查看训练和测试数据上的所有相关指标。Spark ML (基于DataFrame的API)是否支持多类问题的混淆矩阵？我正在寻找Spark v2.2及以上的例子。一个端到端的例子将会非常有用。我在这里找不到混淆矩阵评估-

浏览 0提问于2018-12-27得票数 2

3回答

多标签文档分类

java、machine-learning、text-mining、document-classification

我有一个数据库，我在其中存储基于以下三个字段的数据: id，文本，{标签}。请注意，每个文本都已分配给多个标签\标记\类。我想构建一个模型(weka \ rapidminer \ mahout)，它将能够推荐\分类一堆标签\标签\类到给定的文本。我听说过SVM和朴素贝叶斯分类器，但不确定它们是否支持多标签分类。

浏览 3提问于2013-05-21得票数 7

1回答

非互斥唯一分类任务示例

classification、multiclass-classification

我正在用Scikit学习和TensorFlow阅读优秀的手工机器学习，在第10章中，作者说：有人能给我举几个非相互排斥分类问题的例子吗？

浏览 0提问于2017-07-13得票数 0

回答已采纳

1回答

基于PySpark的线性支持向量机多类分类

python、apache-spark、pyspark、svm、apache-spark-mllib

支持向量机目前还不支持Spark中的多类分类，但在未来会像Spark 上描述的那样。是否有任何发布日期或任何机会运行它与支持向量机实现多类的PySpark应用程序接口？感谢你的见解。

浏览 9提问于2016-09-22得票数 0

1回答

Spark中使用梯度提升树的多类分类:仅支持二分类

scala、apache-spark、gradient、apache-spark-mllib、multilabel-classification

同时尝试在Spark mllib中使用梯度增强树运行多类分类。但是它给出了一个错误“只支持二进制分类”。因变量有8个水平。数据有276列和7000个实例。import org.apache.spark.SparkContext._import org.apache.spark.mllib.regression.LabeledPointimport org.apache.s

浏览 1提问于2016-03-07得票数 1

2回答

空间TextCat评分在MultiLabel分类中的应用

spacy、text-classification、multilabel-classification

在spacy的文本分类示例中，有两个标签指定了正和阴性。因此，猫的得分被表示为我正在使用多标签分类，这意味着我有两个以上的标签标记在一个文本中我增加了我的标签为了指定我用过的猫分数 cats = [

浏览 5提问于2020-06-12得票数 4

1回答

多类逻辑回归在SciKit学习中的应用

python、machine-learning、scikit-learn、logistic-regression

对于多类情况，我对Scikit的Logistic回归的正确调用有问题。我使用的是lbgfs解算器，并且将multi_class参数设置为multinomial。我不清楚如何在拟合模型时传递真实的类标签。我曾假设它与随机森林分类器多类类似/相同，其中您可以传递n_samples、m_classes数据帧。因此，这是我的问题:如何将完整的类标签集传递给fit函数？我在互联网上找不到可以建模的示例代码，在StackOverflow上也找不到这个问题。但我觉得肯定有人知道该怎么做！

浏览 0提问于2016-04-10得票数 4

回答已采纳

1回答

将多标号问题转化为多类问题

multiclass-classification、multilabel-classification

用单个分类器将多标签问题建模为多类问题的缺点是什么？1)因此，每个标签组合的每个元素。2) 有一个N长度的输出向量(向量的每个元素都是一个标签)，但是这个问题将被视为一个分类器的多类

浏览 0提问于2019-07-22得票数 3

2回答

机器学习-单级、二元类和多类分类的区别在哪里？

machine-learning、data-mining、classification、categorical-data

单类、二元类和多类分类的区别是什么？我就不能用上面提到的所有方法来达到我的目标吗？例如，我可以将C1、C2、C3和C4描述为四种不同的二进制分类训练集，并使用经过训练的模型来标记未知的数据集.对于多项式分类，我只需在一个训练集中定义一个训练集，其中包含C1、C2、C3和C4的所有良好样本数据，然后使用一个结果模型进行分类。但是这两种方法有什么区别呢？(除此之外

浏览 0提问于2014-10-20得票数 6

1回答

交叉熵和Softmax是否适用于多标签分类？

softmax、cntk、cross-entropy

正如提到的，对于多标签分类，交叉熵不是一个合适的损失函数。我的问题是“这一事实是否也适用于softmax的交叉熵？”如果是，它如何与文档的匹配。我应该提一下，我的问题的范围是cntk。

浏览 20提问于2017-01-17得票数 5

回答已采纳

5回答

多类多标签分类的精度/召回率

machine-learning、classification、multilabel-classification、precision-recall

我想知道如何计算多类多标签分类的精度和召回率，即有两个以上标签的分类，以及每个实例可以有多个标签的分类？

浏览 1提问于2012-01-25得票数 29

1回答

PySpark:执行一次热编码

python、apache-spark、pyspark

我需要在包含分类变量的数据集上执行分类任务。我对数据进行了一次热编码。但我很困惑我是否做得对。

浏览 1提问于2022-08-29得票数 0

回答已采纳

1回答

基于R的机器学习多标签文本分类

r、machine-learning、text-mining、modeling、text-classification

我正在R中构建一个机器学习文本分类模型。如果句子属于多个类别，我希望将句子分类到多个标签中。

浏览 0提问于2017-12-28得票数 2

1回答

为多标签分类编码分类特性的选项/最佳实践是什么？

machine-learning、classification、multilabel-classification、categorical-encoding

我正在研究一个具有连续和分类特性的多标签分类问题。对于单个标签问题，我可能会使用有监督的编码器来实现分类功能，如TargetEncoder、CatBoost等。但是，我不知道这些编码器是否能够处理多标签样本。是否有可扩展到多标签数据的分类编码器？如果人们知道任何关于这方面的文献，也很高兴看到。注意: scikit控制类编码器包中的分类编码器似乎可以通过多项式包装扩展到多</

浏览 0提问于2021-08-19得票数 0

点击加载更多