检查模型输出和标签之间的相关性/互信息
检查模型输出和标签之间的相关性/互信息是一种评估机器学习模型性能的常用方法。它可以帮助我们了解模型的预测结果与真实标签之间的关系，从而评估模型的准确性和可靠性。
相关性是指模型输出与标签之间的线性关系程度。相关性的取值范围为[-1, 1]，其中1表示完全正相关，-1表示完全负相关，0表示无相关性。相关性可以通过计算模型输出和标签之间的皮尔逊相关系数来衡量。
互信息是指模型输出能够提供关于标签的信息量。互信息的取值范围为[0, 正无穷)，其中0表示没有信息量，正值表示有信息量。互信息可以通过计算模型输出和标签之间的互信息来衡量。
在实际应用中，检查模型输出和标签之间的相关性/互信息可以帮助我们进行以下工作：
- 模型评估：相关性/互信息可以作为评估模型性能的指标之一。如果相关性/互信息较高，则说明模型的预测结果与真实标签之间存在较强的关联，模型性能较好。
- 特征选择：通过计算特征与标签之间的相关性/互信息，可以帮助我们选择对模型预测结果有较大影响的特征。相关性/互信息较高的特征可以作为模型训练的重要输入。
- 模型改进：如果模型输出与标签之间的相关性/互信息较低，可以考虑改进模型结构或调整模型参数，以提高模型的预测准确性。
腾讯云提供了一系列与机器学习和数据分析相关的产品和服务，可以帮助用户进行模型评估和特征选择等工作。例如：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）：提供了丰富的机器学习算法和模型训练、评估的功能，可以方便地进行相关性/互信息的计算和模型改进。
- 腾讯云数据智能平台（https://cloud.tencent.com/product/dti）：提供了数据分析和挖掘的工具和服务，可以帮助用户进行特征选择和模型评估等工作。
总之，检查模型输出和标签之间的相关性/互信息是评估机器学习模型性能和改进模型的重要方法，腾讯云提供了相关的产品和服务来支持这些工作。
相关·内容
1回答
我试图使用R中的mRMRe软件包对基因表达数据集进行特征选择，我有包含超过10K基因的RNA seq数据，我想找到最适合于分类模型的特征。我想知道如何找到最优的功能计数。这是我的密码
mrEnsemble <- mRMR.ensemble(data = Xdata, target_indices = c(1) ,feature_count = 100 ,solution_count = 1)
mrEnsemble_genes <- as.data.frame(apply(solutions(mrEnsemble)[[1]], 2, function(x, y) { return(y
浏览 21提问于2022-04-25得票数 0
这种情况下的函数是离散数据集。我没有实际的功能。
我有两个案子。一种是数据集以近似平行线的形式出现。更复杂的情况是，直线共享相似的斜率，但沿x轴移动。
我尝试了numpy.correlate，但输出不是单个数字。我也不确定这种方法是如何工作的，因为在x轴上采样数据的点并不总是相同的。
我还尝试使用numpy.fft.rfft对这两个归一化函数进行傅里叶变换。然后，我对两个转换后的函数的乘积使用了numpy.fft.irfft。这也是返回一个函数，而不是单一的相似性度量。
我正在寻找最简单、最有效的方法来获得单个数字，该数字表示在相似空间上采样的两个数据集之间的相似性度量。
有什么想法吗？
浏览 3提问于2014-11-26得票数 0
1回答
我试图在一个包含257个特征和1个目标变量的数据集上建立一个神经网络。我的代码如下所示：
df = pd.read_csv('Training Data.csv', low_memory=False, index_col=0)
df = df.dropna()
dataset = df.values
X = dataset[:, 1:]
y = dataset[:, 0:1]
scalerx = MinMaxScaler().fit(X)
scalery = StandardScaler().fit(y)
X =
浏览 0提问于2021-08-26得票数 0
我对计算所有数据行(即特性)的互信息熵感兴趣，然后通过查找其MI值来进行特征选择。在我的数据集中，行是原始特征集，列是不同的组。我理解NLP中的成对互信息(PMI)的概念，但在R中不太确定MI，本质上我想通过计算它的互信息熵来进行特征选择。我怎样才能在R中做到这一点？有什么有效的方法来实现这一点吗？或者有任何R包可以这样做的功能选择？任何想法都将不胜感激。
可复制数据
以下是可以使用的可复制数据：
> dput(HTA20_filt_corr[1:20, 1:5])
structure(c(6.06221469449721, 3.79648446367096, 4.44302662142
浏览 0提问于2019-07-15得票数 0
回答已采纳
2回答
我想在虹膜数据集中获取相互信息以选择最佳特性，但我对互信息感到困惑。
选择特征的互信息概念是什么？有人能用简单的方式解释吗？
除非你能向你祖母解释，否则你不会真正理解什么。阿尔伯特·爱因斯坦
浏览 0提问于2018-11-22得票数 2
3回答
我有大约90个变量存储在数据2-90中。我怀疑其中大约有4个与data1有抛物线样的相关性。我想找出哪些是相关的。有什么简单快捷的方法吗？
我尝试过构建这样的模型(对于每个变量I=2:90，我可以在循环中这样做)：
y <- data$AvgRating
x <- data$Hamming.distance
x2 <- x^2
quadratic.model = lm(y ~ x + x2)
然后看看R^2/系数，得到相关的概念。有更好的方法吗？
也许R可以用这90个变量建立一个回归模型，并选择那些本身具有显着性的变量？那有可能吗？对于线性回归，我可以在JMP中这样做，但我
浏览 14提问于2016-08-01得票数 7
回答已采纳
2回答
假设M是一组对象m，每个对象都具有属性X和Y。现在，如果对于给定的m，X和Y只能有一个值(即X，Y是具有P(X=x_i|M=m_i)，P(Y=y_i|M=m_i)的随机变量)，则可以计算X和Y的互信息。但如果X可以同时具有多个结果呢？例如，对于m_3 X={x1，x2} -通常X的结果是所有可能结果的子集。在这种情况下，是否可以测量相互信息或其他一些相关性度量？
是否可以将X拆分成二进制随机变量X_1，X_2等，其中X_1=1 X包含x1，否则包含X_1=0，然后计算所有组合i，j的I(X_i，Y_j)，并将信息相加，以获得I(X，Y)？
谢谢。
示例：
m_1: X={a,b}, Y={x,
浏览 4提问于2011-02-08得票数 0
2回答
形状值可以解释对吗？
、、、、
在使用SHAP值解释基于树的模型时，我遇到了一个问题。
(https://github.com/slundberg/shapsd)
首先，我输入了大约30个特征，我有两个特征，它们之间有很高的正相关。
在此之后，我对XGBoost模型(Python)进行了训练，并查看了SHAP值与SHAP值之间的负相关关系。
请大家向我解释一下，为什么两个特性之间的输出SHAP值不具有与输入相关性相同的相关性？我能相信SHAP的输出吗？
=========================
投入的相关性: 0.91788
SHAP值之间的相关性：-0.661088
两个特征是
1)省和
2)省内家庭
浏览 0提问于2019-11-26得票数 4
回答已采纳
我正在尝试训练一个LSTM(多到一)模型的多元时间序列输入和分类输出。
经过一段时间的训练，得到的模型仍然具有较低的精度和较高的验证数据损失。所以开始怀疑，也许我为预测标签而选择的特征是完全无关的？
我想知道是否有方法来测试所选择的特性是否在标签上有解释力？
在进行堆栈交换之前，我在网上做了一些研究，发现有人说我们应该使用PCA来测试标签是否依赖于特性，这让我非常困惑。我认为PCA是用来对特征进行降维，并且与标签无关。我是不是漏掉了什么？
下面是我刚才提到的内容的摘录。
首先确保输出(因变量)变量(目标或标签)实际上取决于输入变量(特性)，这是一个好主意。很有可能你在追逐一个不存在的鬼魂。有
浏览 0提问于2022-02-14得票数 1
3回答
我正在处理一个具有数百个特性的数据集。我希望创建一个简单的机器学习模型，使用原始数据集的7-10特性。我的问题是：
我可以使用什么量化指标来确定一个特性对学习模型有用？
我一直在比较目标均值在特征组中的分布情况，以及整个数据集的目标均值。例如，以二进制特性X和二进制目标为例。假设目标在处理整个数据集时的平均值为0.10。
为了分析特征X，我取特征X中每个组的目标均值。
mean (X=0) = 0.07
mean (X=1) = 1.15
这样，我就可以观察到一个特征对目标的影响。
我知道，必须有一些更强的度量标准，人们使用这些度量来确定特性的强度。在学校里，我用p检验来确定变量的统计意义。在
浏览 0提问于2018-05-30得票数 3
回答已采纳
我使用mutual_info_classif来确定二进制文本分类任务中最重要的单词如下：
mi_score = mutual_info_classif(X, y)
但是，上面给出了一系列的特征分数，而没有引用相应的类。
是否有一种方法可以使用MI获取每类中最重要的特性？
P.s.，我已经尝试过Chi2了，但是对于这两个类，它给出了相同的特性等级
浏览 0提问于2018-11-12得票数 0
2回答
我最近遇到了互信息的概念，并开始阅读它。由于我看到它可以得到非线性关系，在我看来，与相关系数相比，选择在ML模型中保留哪些特征可能是一种更有力的方法。
然而，我刚刚做了一个简单的实验，我创建了10个不同的f(x)，其中5个没有随机噪声(y值可以100%从x值中提取)，另外5个有随机噪声：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.feature_selection import mutual_info_regression
# Create x-values and
浏览 0提问于2022-10-14得票数 2
1回答
信息获取和相互信息有什么区别？
在这一点上，我了解到信息增益是在随机变量和目标类别之间计算的，而互信息是在两个随机变量之间计算的。
在随机变量和目标类之间进行计算时，相互信息是否与信息相同？
浏览 0提问于2019-03-19得票数 3
我以图像的形式输入数据集，输出数据也是图像而不是被标记的数据。因此，它既不是分类问题，也不是回归问题。输入和输出干扰之间可能存在一定的相关性，我希望我的模型能够了解这种相关性。我正在努力寻找适当的方法来实现这一点。有人能帮忙吗？
浏览 0提问于2021-07-02得票数 1
1回答
基于分类特征分析的连续数据预测
、、、、
我有一个例子，我想预测列H1和H2，它们是连续的数据，所有的分类特征都是，希望得到一个组合，为H1和H2提供最优的结果，但是类别的分布是不均匀的，有些类别只有1，
这是我的数据：
我在每一栏中的分类频率信息：
我想问的是：
，类别特征的不平衡对预测有很大影响吗？什么是正确的解决方案来解决这个问题？，，你怎么知道最优组合？你是否需要运行一个数据测试模拟，预测每一个特征的组合与创建的模型？，，什么样的分析技术适合于确定H1和H2上的特性之间的关系？到目前为止，我使用一个热编码转换类别数据，然后计算相关映射，什么ML模型可以应用到我的情况中？到目前为止，我已经尝试过RF、KNN和
浏览 0提问于2022-06-16得票数 0
1回答
关于评论摘要的NLP项目
、、、、
我计划做我的最后一年的自然语言处理(使用NLTK)项目，我的兴趣领域是评论总结从社交媒体网站如Facebook。例如，我试图做这样的事情：
图片中的随机Facebook评论：
哇!漂亮的。
看起来真的很漂亮。
很漂亮，不错的照片。
现在，所有这些注释将被映射(使用基于模板的注释摘要技术)如下所示：
3人们觉得这幅画“很美”。
输出将由单词“漂亮”组成，因为它在评论中比“漂亮”(还有美丽和漂亮是同义词这一事实).In顺序更常用，为了完成这项任务，我将使用跟踪关键字频率和关键字分数等方法(在这个场景中，“漂亮”和“漂亮”有一个非常接近的分数)。这是最好的方法吗？
到目前为止，通
浏览 2提问于2014-10-11得票数 3
回答已采纳
3回答
我试图创建一个有多达50个自变量的ANN。基于我的直觉和业务逻辑，我尝试创建许多输入变量的组合来输入人工神经网络，重新训练它并尝试预测。但是结果并不像预期的那样，尽管模型做了非常好的测试集预测，但是当新的数据被输入时，它就失败了。有人能指点我哪里做错了吗？我当时的想法是，我需要更好地选择输入变量。从统计学上说，有什么办法可以决定吗？
对于有助于解决这一问题的模型或结果，我能提供什么信息？
浏览 0提问于2019-01-11得票数 0
1回答
我正在Tensorflow中训练一个深度CNN模型，并试图最大化true labels和predictions之间的皮尔逊相关性。例如，对于真实的标签y_true = [1.0, 2.0, 3.0, 4.0]，我想预测像y_pred = [0.9, 1.8, 3.0, 4.1]这样的东西，因为这提供了很高的皮尔逊相关性。
然而，我的预测都高度接近于0，类似于y_pred = [0.0001,0.0002, 0.0003, 0.0004]。尽管在这种情况下，皮尔逊相关性很高，但在计算皮尔逊损失时，模型在数值上是不稳定的(例如，抛出了NaN错误)。
因此，我想知道我可以做些什么来强制输出具有更大的
浏览 0提问于2018-05-31得票数 1
1回答
我发现了两种在python中实现特性选择的MRMR方法。包含该方法的论文来源是：
这是我的数据集代码。
import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
X, y = make_classification(n_samples=10000
浏览 1提问于2018-03-12得票数 8
回答已采纳
我有一个大的数据，并希望执行一些预测模型(如回归，决策树，..)但我有个问题。由于变量太多，是否有任何方法可以确定在模型中使用哪些变量作为预测变量来预测某个特定变量？任何帮助都将不胜感激。
浏览 0提问于2017-08-17得票数 2
1回答
我为R中的时间序列数据建立了一个随机森林回归模型，该模型有三个预测因子和一个输出变量。
是否有一种方法(也许以更绝对的方式)来发现特定变量中的变化如何影响预测输出？
我知道变量的重要性，我不是想找出影响最大的变量，而是想看看我是否选择了输入变量X_1，并增加了它的值(或降低了它)，这将如何改变预测输出。
这样做有意义吗？或者用随机森林模型也有可能？重读我的问题几遍，这使我怀疑，但任何洞察力/推荐将是非常感谢的。
浏览 6提问于2022-08-24得票数 -1
回答已采纳
3回答
目前，我正在实现一个高斯回归过程模型，在尝试将其应用于我的问题范围时，我遇到了一些问题。我的问题是，我有三个变量作为模型的输入，其中一个值(theta)比另外两个值alpha1和alpha2有更大的影响。输入和输出具有以下值(为了更好地理解，仅列出几个值)：
# X (theta, alpha1, alpha2)
array([[ 9.07660169, 0.61485493, 1.70396493],
[ 9.51498486, -5.49212002, -0.68659511],
[10.45737558, -2.2739529 , -2.03918961]
浏览 0提问于2020-03-02得票数 6
2回答
我想根据6个不同的输入和4个输出生成一个回归。
我使用python，并比较sklearn和scipy。但在这两种情况下，回归模型基本上集中在一个输出参数。
我的问题是:我能考虑我所有的输出都是不相连的吗?如果是的话，想象一下我可以并行地执行4个回归(每个输出一个)来建立一个等价的4输出模型，这是真的吗？
给你小费！
浏览 0提问于2018-06-01得票数 3
回答已采纳
目前，我正在做一些简单的特征选择，基于特征和方差在一个特征之间的相关性。在创建交叉验证之前，我将此应用于用于建模的整个数据集。
我现在的问题是，这是否是可以接受的工作流程，或者是否会显著影响简历统计数据，从而提出一个比实际更好的模型？
技术上更好的做法是进行简历分割，然后在培训集上选择功能，以避免泄露信息？
浏览 0提问于2017-05-10得票数 1
我有一套东西。我计算了两个距离矩阵：X使用度量f1定义每个对象对之间的距离，以及Y -使用度量f2。现在，我想了解如果两个对象在度量f1中是相似的，那么它们也按照度量f2相似。我该怎么做呢？
例如，f1可以说两个对象的颜色是否相似，f2 --两个对象的大小是否相同。但衡量标准可以是任何东西。例如，我们可以讨论文章，f1可以是Jaccard距离，度量两篇文章共有多少标记，而f2可以是欧几里得距离，测量两篇文章的单词向量之间的距离。现在我想了解的是蓝色物体的两个对象是否很大，或者带有“种族主义”标签的文章是否有类似的内容。
我是在问相关性吗？如何在X和Y之间计算它？
浏览 0提问于2020-04-17得票数 1
回答已采纳
这样训练一个RandomForest (Spark 1.6.0)
val numClasses = 4 // 0-2
val categoricalFeaturesInfo = Map[Int, Int]()
val numTrees = 9
val featureSubsetStrategy = "auto" // Let the algorithm choose.
val impurity = "gini"
val maxDepth = 6
val maxBins = 32
val model = RandomForest.trainClassifier(
浏览 0提问于2016-04-08得票数 3
对为什么相关矩阵是对称的？问题的公认回答包括以下内容：
相关矩阵是线性度的度量。它并不表示两个变量是如何相互依赖的。
我的问题是:如果/如何两个变量相互依赖，有什么关系？
编辑1:当问这个问题时，不考虑任何与相关性有关的问题，只想知道是否有方法来查看两个或多个变量是否相互依赖，而不管它们之间的相关性有多高或没有相关性。
我使用关联标签是因为我想不出要使用什么标签，请随时编辑/更正标签。
浏览 0提问于2019-10-30得票数 2
回答已采纳
2回答
我已经实现了置换重要性计算，作为发现的这里，在我的尝试中，找出对我的模型的(梯度提升树模型)预测能力贡献不大的特性。
我遇到的问题是，我的一些特性是高度相关的，在通过排列重要性进行评估时，可能掩盖了特性的真正重要性。通常，解决这一问题的方法是执行类似递归功能消除的操作。不幸的是，我不能这样做，因为再培训的成本太高了。该模型用39个特征集训练3个小时。
我的问题是，在处理相关特征时，是否可以使用置换重要性？我最初的想法是逆转这个过程，并洗牌除我想要调查的特性之外的所有其他特性，尽管我不知道这是否会有相同的解释。
浏览 0提问于2019-02-25得票数 4
回答已采纳
2回答
大范畴变量数据集的预处理
、、、、
我试图找出这个问题的基本答案，但堆栈溢出似乎没有一个是最合适的。
我有一个40列和55,000行的数据集。这些列中只有8列是数字的。其余的32个是绝对的，每个字符串都有值。
现在，我希望对预测模型进行探索性数据分析，并且需要删除某些不相关的列，这些列与目标没有很高的相关性(变量用于预测)。但是，既然这32个变量都是绝对的，我能做些什么来了解它们与目标变量的相关性呢？
我想尝试的是：
LabelEncoding所有32列然后通过PCA运行一个维度缩减，然后创建一个预测模型。(如果我这样做，那么如何通过删除具有低corr()和目标的无关列来清理数据？)
一个热编码所有32列，并直接运行一个
浏览 0提问于2019-09-04得票数 0
回答已采纳
1回答
互信息和预测精度
、、
互信息和分类的预测精度或回归的均方误差之间有什么关系？在数据挖掘中，是否有可能在低互信息的情况下具有高精度/低MSE？
浏览 20提问于2018-02-03得票数 1
回答已采纳
2回答
我有一个数据集，在其中我必须预测一栋建筑物的价格。在许多特性中，有一个叫做可用性的特性，它有两个类型的值，如：
"Ready To Move" and a date (e.g. "20-Jan", "18-May", etc.)
例如：
Availability Price
------------ -----
Ready To Move 55
18-Apr 38
你如何设计这个专栏，找出它与价格的关系，并得出其他结论。
浏览 0提问于2018-04-10得票数 2
1回答
机器学习相关性
、、
我有一个数据集，我清理了它，现在在运行机器学习模型之前，我正在查看相关性。
我读过关于人的r相关性的文章：
Intermediate|0.0|，，，，，，，，，，，，，，，，，，
我不明白几件事：
独立列和独立列
如果我有很强的相关性，它是好的还是坏的？Doe的强相关性(不是完美的1.0)意味着这两列基本上是相同的？，如果相关性是好的\坏的，我应该删除两列中的一列吗？
独立列和依赖列
如果我有很强的相关性，它是好的还是坏的？，如果相关性是好的\坏的，我应该删除独立列吗？
浏览 2提问于2021-05-06得票数 1
假设我们有dataset D1 (列A，B，C)和D2 (列A，B，D列)，目标变量E。由于这两个数据集都很小，它们各自的预测模型的性能不太好。为了提高预测性能，我可以/应该应用以下步骤吗？
删除不常见的列(因此A、B和E列保留在两个数据集中)
在列车和测试集中分割每个数据集(交叉验证以评估，因此没有验证集)
基于D1和D2训练集组合的预测模型的训练
在各自的测试集上评估D1和D2的测试集性能(使用1模型而不是2)
我认为这是允许的，但我不能完全确定是否有任何(坏的)影响。
浏览 0提问于2020-06-21得票数 2
3回答
是否需要特征选择？
、、、
我想运行一些机器学习模型，如随机森林，梯度提升，或支持向量机在我的数据集。我的数据集中有超过200个预测变量，我的目标类是一个二进制变量。
在模型拟合之前，我需要运行特征选择吗？如果我直接使用所有的预测变量来拟合模型，它会对模型的性能产生显著的影响还是没有多大的差异？
浏览 0提问于2017-01-04得票数 14
回答已采纳
1回答
我试图通过改变指标变量(利率)来确定一个目标变量(通货膨胀)的定量值。
该行业基本上采用线性模型，如VAR。是否有最先进的方法来捕捉这种关系？
浏览 0提问于2023-06-02得票数 0
1回答
Logistic回归模型及其解释
、、、、
我正在建立一个logistic回归模型来预测贷款公司客户的信用风险。我正在使用kaggle的dataset：https://www.kaggle.com/datasets/ranadeep/credit-risk-dataset/code
第一个问题：
当我做EDA来获得一些商业洞察力时，我发现了一些使用利率特性的洞察力。但是当我进入预处理阶段时，我发现利率与grade特性是一个冗余的特性。等级实际上是序数范畴特征('A'，'B'，'C'，'D'，'E')和im使用标签编码使数值范围从0-6。
📷
因此，为了确保我
浏览 0提问于2022-12-14得票数 6
1回答
当我将HAC聚类的结果与手动标记文档的基本事实进行比较时，我面临着一个问题。
整个数据集由9k文档组成，而基本真理为100；最后一个文档允许多标签，而集群过程只将文档分配给一个集群。它们都被装进了一只熊猫的数据仓库里。
簇
id label
0 1
1 4
2 9
....
9k 3
地面真相
id label1 label2 label3 ... labeln
0 0 1 0 1
1
浏览 2提问于2020-05-28得票数 2
1回答
我目前正在测试支持向量回归(SVR)，以解决具有两个输出的回归问题。这意味着对于每个样本，Y_train_data都有两个值。由于SVR只能产生单个输出，因此我使用中的MultiOutputRegressor。
from sklearn.svm import SVR
from sklearn.multioutput import MultiOutputRegressor
svr_reg = MultiOutputRegressor(SVR(kernel=_kernel, C=_C, gamma=_gamma, degree=_degree, coef0=_coef0))
sv
浏览 0提问于2018-12-10得票数 6
1回答
对于更复杂的实验设计，有几个关于混合模型的问题和帖子，所以我认为这个更简单的模型可以帮助其他初学者在这个过程中以及我。
因此，我的问题是，我想在sas proc混合程序的R中制定一个重复的度量方差：
proc mixed data=df1;
FitStatistics=akaike
class GROUP person day;
model Y = GROUP X1 / solution alpha=.1 cl;
repeated / type=cs subject=person group=GROUP;
lsmeans GROUP;
run;
下面是使用R中创建的数据的SAS输出(如下)：
浏览 3提问于2012-08-05得票数 6
回答已采纳
1回答
因此，我必须使用图像域和视频域的标签构建6个级别的分类“树”，以便更好地进行分类。问题是我不明白为什么这不是我真正的知识领域。
我们将标签集合及其相关性表示为N= {ni}和E= {ei，j |ni，nj∈N}，其中
e(i，j) = e(i，j。e(i，j)/e(i，j)+ e(i，j)
概念i和j之间的相关性的调和均值是否被归一化，使得(sigma)(e(i，j))=(sigma)(e(i，j)YT)=1
我的问题是如何计算两个标签之间的相关性，到目前为止我看到的所有相关性示例都是针对数据集的。另外，我如何标准化，使和等于1？
任何帮助都是非常感谢的。谢谢!
浏览 1提问于2012-04-10得票数 0
2回答
我有两个变量价格和距离，并想知道两者之间是否存在相关性，以及它在统计学上有多重要。
我用最小二乘法在python中创建了一个线性模型，但是我不知道如何从它得到任何相关的度量。
谢谢,
浏览 1提问于2016-10-22得票数 0
回答已采纳
现在我使用Keras来实现一个多标签分类模型。具体来说，我想分类谁在一个音频剪辑(最多8人)。数据的标签有8位，例如0，1，0，0，1，1.这意味着所有的数据应该有2^8=256组合。现在我只收集了一部分数据(3700个样本，但只有20个标签)用于模型培训。虽然该模型在has数据方面具有良好的性能，但对于带有未见标签的数据(与其他236种标签的数据)来说，性能较差。我想知道怎样才能提高模型的性能？或者我要用不同标签的数据来训练这个模型？我认为这将导致数据收集工作量的组合爆炸。
浏览 0提问于2021-06-16得票数 0
回答已采纳
3回答
我正在尝试编写一个框架来比较一组标签，例如(对于一个问题的5个回答是/否的样本) [0, 1, 1, 1, 0]与一系列用于确定相关性的特性。对于非稀疏的数字特征，如“字数”或“平均字长”，我知道我可以使用方差协方差矩阵来判断“字数”或“平均字长”是否是模型回答问题的信息特征。
我希望能够对术语频率做同样的事情(假设在scikit-learn中使用CountVectorizer )，但是由此产生的协方差矩阵将是相当大的，并且只会指示这个特定术语是否是一个信息特性。我如何得到某种“崩溃”或“聚合”的相关性度量？这有可能吗？
浏览 0提问于2015-10-06得票数 4
1回答
排除预测过程中没有变化的变量？
、、、、
我正在研究一个二进制分类问题。
我确实有某些输入分类变量，如gender、ethnicity等。
但所有的记录都有相同的价值。这意味着，我的数据集中的所有10K记录都以female作为性别值。种族也一样。
在建立模型的过程中，直接排除这些变量可以吗？
还是保留它们很重要？由于在输出类之间没有任何变化(在这些变量中)，我假设它们不会对输出做出任何贡献。
能帮到我吗？
浏览 0提问于2022-01-15得票数 2
回答已采纳
我见过一些文章和研究论文提到了这些提高机器学习模型性能的技术。
当我们不确定数据集的标签是否正确时，这些技术当然是有意义的。
然而，我想知道在标签正确的情况下，这两种技术是否对ML模型是有益的？
浏览 0提问于2019-07-09得票数 3
我正在试着分析一个数据。该数据具有一些连续属性，并且目标也是连续的。我使用线性回归和随机森林进行分析。 我想知道的是，我如何确定我的目标连续变量是否依赖于我正在考虑的连续特征。 MSE值有助于比较不同模型的结果。但我的目标和特征是否有任何关系...我该如何学习呢？
浏览 20提问于2021-10-28得票数 0
回答已采纳
1回答
我一直在努力更好地理解PACF和ACF，但我确实在挣扎。
已经使用了一系列的文章，如：https://machinelearningmastery.com/gentle-introduction-autocorrelation-partial-autocorrelation/
即使查看PACF和ACF的状态模型的方法签名，我仍然无法获得它。
有人能用一些例子来解释一下当数据被考虑的时候会发生什么吗？
除其他外，这句话正确吗？
ACF是AutoRegressive (AR)建模的图形，而
除移动平均法(MA)外，PACF也是如此。
或者是相反的情况？
ACF是移动平均(MA)模型的图形。
除Au
浏览 0提问于2020-04-16得票数 2
回答已采纳
1回答
条件熵与互信息聚类评价
、、、
首先，我正在进行聚类，我有自己的数据的真实标签。为了进行评估，我使用了每个预测聚类熵值的加权平均值。我还发现，互信息是一种类似的方法，同时我还研究了各种替代方案。根据我的数据，他们似乎给出了类似的结果。
然而，有一个问题令我困惑。
给定预测的集群集U和真正的集群V，相互信息被定义为：
I(U,V) = H(U) - H(U|V)
或,
I(U,V) = H(V) - H(V|U)
如果我的数学是正确的，我所使用的平均熵对应于条件熵项H(V|U)，并试图最小化这与最大的相互信息对齐。
我无法理解的是，奇异平均熵与相互信息有何不同，为什么我们需要熵项H(U)或H(V)。似乎最小化其中
浏览 0提问于2019-04-19得票数 3
回答已采纳
1回答
我正在研究Tensorflow中的神经网络。我的网络执行多标签分类来预测哪些用户对哪些汽车出价。我有一个包含三列的CSV :用户bid、最高出价和制造商名称(汽车型号)，但是我只使用用户bid和制造商名称。用户ID是输入，Make名称是标签，其中存在86个唯一的Make名称。我的问题是，当我用数据集训练我的模型时，我的损失下降得非常慢，精度几乎没有变化。
我试着改变我正在使用的层的数量，以及在每个隐藏层中尝试不同数量的神经元，但我没有任何运气。
from __future__ import absolute_import, division, print_function, unicode_l
浏览 0提问于2019-09-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
