class_eval vs instance_eval
Class-level evaluation vs instance-level evaluation
Class-level evaluation and instance-level evaluation are two different approaches to evaluating the performance and effectiveness of machine learning models.
Class-level evaluation focuses on the overall performance of a machine learning model at the class level. It measures the model's ability to correctly classify all the samples in a class, as well as the overall performance of the model for all classes. Class-level evaluation is often used in scenarios where the model needs to achieve high accuracy in all classes, such as in image classification tasks.
Instance-level evaluation focuses on the performance of the model for each individual sample. It measures the model's ability to correctly classify each sample, as well as the performance of the model for each class. Instance-level evaluation is often used in scenarios where the model needs to achieve high accuracy for each individual sample, such as in text classification tasks.
Both class-level and instance-level evaluation are important for evaluating the performance of machine learning models. Class-level evaluation can provide a holistic view of the model's overall performance, while instance-level evaluation can provide a more detailed view of the model's performance for each individual sample.
To perform class-level evaluation, you can use tools such as accuracy, precision, recall, and F1-score. To perform instance-level evaluation, you can use tools such as confusion matrix, classification report, and accuracy.
Class-level evaluation
- Accuracy: Measures the proportion of correct predictions in each class.
- Precision: Measures the proportion of true positive predictions in each class.
- Recall: Measures the proportion of true positive predictions in all classes.
- F1-score: Measures the harmonic mean of precision and recall in all classes.
Instance-level evaluation
- Confusion matrix: Shows the performance of the model for each class and each instance.
- Classification report: Shows the performance of the model for each instance and each class.
- Accuracy: Measures the proportion of correct predictions for each instance.
相关·内容
除了这个之外，我还实验了使用和包对基准数据集进行无监督的异常检测任务的KNN算法，得到了不同的结果！
*****************************************************************KNN from PYOD lib
/usr/local/lib/python3.7/dist-packages/pyod/models/base.py:413: UserWarning: y should not be presented in unsupervised learning.
"y should not be presented in u
浏览 8提问于2022-04-12得票数 0
1回答
我正在尝试用tensorflow实现一个多标签句子分类模型。大约有1500个标签。这个模型工作得很好，但是我不确定它生成的度量标准。
这是生成度量的代码：
with tf.name_scope('loss'):
losses = tf.nn.softmax_cross_entropy_with_logits(labels=self.input_y, logits=self.scores) # only named arguments accepted
self.loss = tf.reduce_mean(losses) + l2_reg
浏览 2提问于2017-07-24得票数 2
1回答
预测信用卡违约
、、
我有一个预测信用卡违约的代码，它工作得很好，但我在这里检查，看看是否有人可以使它更高效或紧凑。虽然很长，但请你耐心点。
# Import necessary libraries.
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# Extracting data from .csv file.
file = 'C:\\Users\\alhut\\OneDrive\\Desktop\\credit card default project\\creditcard_default.csv
浏览 0提问于2019-02-16得票数 0
回答已采纳
1回答
我有10+的特性和十几个案例来训练一个逻辑回归来分类人们的种族。第一个例子是法语和非法语，第二个例子是英语和非英语.结果如下：
//////////////////////////////////////////////////////
1= fr
0= non-fr
Class count:
0 69109
1 30891
dtype: int64
Accuracy: 0.95126
Classification report:
precision recall f1-score support
0 0.9
浏览 2提问于2015-10-19得票数 1
回答已采纳
1回答
--我用latex创建了一个表，但是表中的文本或内容并没有完全对齐。那我该怎么办？为了更好地可视化，我在-下面共享了我的乳胶代码。
\begin{longtable}{|c|l|l|}
\caption{Summary Table}\\
\hline
\textbf{Serial No.} & \multicolumn{1}{c|}{\textbf{Name} }
浏览 0提问于2020-11-20得票数 0
1回答
几天前，我正在开发一个java服务器来保存大量数据并识别它的语言，所以我决定使用lingpipe来完成这样的任务。但是我面临着一个问题，在训练代码并用两种语言(英语和西班牙语)对代码进行评估后，我无法识别西班牙语文本，但我在英语和法语方面取得了成功。
为了完成此任务，我遵循的教程是：
我为完成任务所做的下一步:训练语言分类器所遵循的步骤
~1.首先在名为leipzig的文件夹中放置和解压英文和西班牙文元数据，如下(注:元数据和句子来自)：
leipzig //Main folder
1M sentences //Folder with data of
浏览 6提问于2017-07-04得票数 1
回答已采纳
1回答
我早些时候发布了这个。我想要嵌入类似于这个视频，时间33分钟前。
1)我不认为我从CLS令牌中获得的嵌入与youtube视频中显示的内容类似。我试着进行语义相似，结果很糟糕。有人能确认我得到的嵌入是否与视频35.27标记中提到的嵌入相似吗？
2)如果上述问题的答案是“不相似的”，那么如何使用我编写的代码获得我正在寻找的嵌入呢？
3)如果第一个问题的答案是“它们是相似的”，那么为什么我会得到可怕的结果呢？我需要使用更多的数据来完成吗？
更新1
我用来微调的代码如下所示。它来自于这个。对该代码进行了很少的更改，以返回CLS嵌入。这些变化是基于给我的的答案。
train_InputExamples
浏览 1提问于2020-04-02得票数 9
1回答
我想知道如何才能避免这些空白，我一直在我的文件(报告)。我并不是LaTeX方面的专家，而且文档非常大，所以我不知道如何导入一个可重新创建的示例。相反，我在下面附加两个示例：(请参阅下面的编辑1 )
而这个：
编辑1
我现在添加了一个MWE，这样你就可以重现这个问题了。我想我本可以做得更“最少”，但我意识到减少文本会影响我所指的空格，所以我留下了一些文字，抱歉。，您可以在文档的第一页中观察到非常大的空白。
\documentclass[12pt,a4paper,twoside,openany]{report}
\usepackage[utf8]{inputenc}
\us
浏览 1提问于2018-06-19得票数 3
回答已采纳
这是我用的密码..。
我在304行安装了一个断点.
estimator.train(input_fn=train_input_fn，max_steps=num_train_steps)
有人看过这个吗？我确信我已经安装了正确的TensorFlow和伯特版本。
完整的堆栈跟踪如下..。
Exception has occurred: ValueError
model_fn should return an EstimatorSpec.
File "C:\Program Files\Python36\Lib\site-packages\tensorflow_esti
浏览 2提问于2020-01-02得票数 1
回答已采纳
1回答
我正在运行一个深层次的学习代码，为100个科目打印一个混淆矩阵。当我打印矩阵时，它看起来像这样
我如何调整混淆矩阵，使之看起来更“大”，以便能够适应所有100个主题的侧面，同时也看到错过？
下面是python代码，它显示了包含的混淆矩阵：
# Importing libraries
import os
import keras
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout, Flatten, Conv2D, MaxPooling2D
from ke
浏览 0提问于2022-06-20得票数 1
1回答
我试图将所有遗漏的主题(假阳性/假阴性)显示到IDE中的run/终端/控制台上。原因是因为我使用了由两个文件夹(测试和培训)分隔的100个主题，当它完成最后一个阶段时，它将显示混乱矩阵，如下所示
正如你所看到的，看到遗漏的主题是不可读的。
问:如何在运行控制台上显示遗漏的主题？
# Importing libraries
import os
import keras
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout, Flatten, Conv2D, MaxP
浏览 10提问于2022-06-21得票数 0
1回答
# As usual we will start by importing the modules that we need
# This set will get us started, but you will need to add
# others.
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import SGDClassifier
from sklearn.model_selection import cross_val_predict
from sklearn.
浏览 2提问于2021-08-27得票数 0
1回答
我们已经在Python中开发了一个人工神经网络，在这方面，我们希望用GridSearchCV对超参数进行调优，以找到最佳的超参数。我们ANN的目标是预测默认的信用卡客户，因为代码已经运行了两个星期。是否需要从代码中添加或删除什么才能有效地运行以返回结果？见下面的代码：
# coding: utf-8
# # Artificial Neural Network - Hyperparemter Tunning
#
# For this notebook we aim to establish a benchmark artficial neural network for the UCI Ta
浏览 9提问于2022-06-17得票数 0
我在网上发现了多变量离群点(Mahalanobis距离)，并使用线性判别分析(LDA)作为输入。下面是LDA坐标示例：
LDA coord:
(EX:2)
0 1 2
0 -3.132160 0.032012 C0
1 -1.924197 1.092878 C0
2 0.506485 2.169236 C0
3 -1.841936 2.970699 C0
4 1.6638
浏览 14提问于2022-02-16得票数 1
回答已采纳
目前正在从事教育数据挖掘项目。我有一个非常常见的问题，我的一些数据集，我不能搜索这个问题在任何地方。每当我运行我的进程时，它总是声明
“只有一个标签”的学习方案Logistic回归不足以处理只有一个label.There的示例集，如果只知道一个类的示例，则它是现有的特殊建模操作符。它们支持“一个类标签”功能。
我有一些只有一个标签的数据集，它工作得很好。我还试着编辑标签，因为我使用多个标签。我不明白这个问题。请救救大家！下面是我的XML。
<?xml version="1.0" encoding="UTF-8"?>
<proce
浏览 3提问于2020-07-04得票数 2
回答已采纳
1回答
我试图微调模型的令牌分类(命名实体识别)与数据集组成的9个独特的令牌。
我主要对拥抱面部变压器库中的两种模型感兴趣，它们是：
第一种方法工作良好，分类器的输出特征数与张量大小之间不存在不匹配。
(classifier): Linear(in_features=768, out_features=9, bias=True)
...
torch.Size([320, 9])
第二次调整会导致断言错误，这可能是由于分类器输出特征数与张量大小之间的不匹配造成的。
(classifier): Linear(in_features=768, out_features=9, bias=True)
...
浏览 8提问于2021-03-23得票数 1
发行：
我想将ROC curves从multi.roc()对象中绘制出来，用于12 models (参见下文)，并将生成的绘制到相同的图上进行比较。我的所有模型都包含3 classes，这使得这个难题更加复杂。我试图从我以前问过的一个问题中学习代码；但是，我一直在获取错误消息，因为这个问题是一个二进制问题，而且我的数据有三个变量'Country' (3 categorical levels - France, Holland, and Spain)的类。
我尝试过使用三种不同的方法:参见 1、尝试2和尝试3，以及digrams 1和2
在所有的尝试中，我不知道如何将12种模型合
浏览 25提问于2022-06-05得票数 0
回答已采纳
我想使用一个带有双层RNN的RNN，在蛋白质嵌入上使用py手电筒。它适用于线性层，但是当我使用Bilstm时，我有一个运行时错误。对不起，如果不清楚，这是我的第一次出版，如果有人能帮助我，我将不胜感激。
from collections import Counter, OrderedDict
from typing import Optional
import numpy as np
import pytorch_lightning as pl
import torch
import torch.nn.functional as F # noqa
from deepchain import
浏览 0提问于2021-07-12得票数 3
回答已采纳
经过训练，我尝试训练一个Char神经网络和导出/保存模型，以便我可以在推理时使用它。下面是模型：
def char_rnn_model(features, target):
"""Character level recurrent neural network model to predict classes."""
target = tf.one_hot(target, 15, 1, 0)
#byte_list = tf.one_hot(features, 256, 1, 0)
byte_list = tf.ca
浏览 2提问于2019-12-02得票数 0
澄清：
这个问题是关于这个，而不是
在某种程度上，这是对的复制，但是我可以使用一些更具体的细节(否则很容易成为累赘的评论)，并利用这个机会奖励法鲁克花时间提供更多的细节。
我是运行tensorflow 1.6.0-rc0从源代码编译的GPU支持的Macbook与NVIDIA GeForce GT 750 m 2048 MB GPU。
我试着像这样训练：
python train_model.py --model_dir=./model_gpu --training_data=./rnn_tutorial_data/training.tfrecord-00000-of-0001
浏览 2提问于2018-04-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
