腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >验证集的度量是奇怪的。

问验证集的度量是奇怪的。
EN

Stack Overflow用户

提问于 2020-01-29 22:15:10

回答 1查看 48关注 0票数 0

我正在做一个关于通过深入学习的图像处理的项目，我面临的问题是验证数据集的度量标准与训练数据集的度量标准有很大的不同。差别如下所示。

image1

对于上层图(训练数据集)，绿色、蓝色、红线分别表示ms、生成器损失和鉴别器丢失。

对于较低的图(验证数据集)，蓝色、灰色、橙色的线条分别表示ms-ssim、生成器损失和鉴别器丢失。

这两个数据集之间唯一的区别是验证集是未处理的(1200*800)，但是训练集是裁剪的(256*256)。

接下来，我尝试使用相同的设置裁剪验证集。正如我所猜测的那样，两个数据集的指标变得相似了。但是，由于没有裁剪真实的映像(测试数据集)，这些度量似乎毫无用处。

我的问题是：

为什么“种植”会产生如此大的差异？
在没有裁剪验证集的情况下，如何使两个集的度量相似？
看上去很合身吗？

pytorch

crop

training-data

validation

deep-learning

回答 1

Stack Overflow用户

发布于 2020-01-29 23:00:01

知道确切的任务是什么会很有帮助。你想解决什么，你的数据是什么样子.。

总的来说，这真的很重要。您的原始输入大小为1200x800，并将其裁剪到256x256。最后，您从1200x800图像中提取了一个256x256区域。你在哪里和什么地方收割，只是随机的或某种逻辑的？

这样您就完全改变了数据分布。原始图像将包含更多的信息。根据裁剪的方式，网络可能会看到以前从未见过的信息。你也会从一个平方输入变成一个矩形输入。许多模型甚至在这样不同的输入大小上根本不起作用。

如果您只能对裁剪的图像进行培训，您也必须对验证和测试集进行裁剪，以获得可比较的结果。

从所给出的信息来看，它看起来一点也不像过度拟合，更像是图像裁剪带来的一个大的域转移问题。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59980076

复制

训练集、验证集、测试集以及交验验证的理解

腾讯云测试服务编程算法神经网络 java https

在人工智能机器学习中，很容易将“验证集”与“测试集”，“交叉验证”混淆。

全栈程序员站长

2022/08/27

19.3K0

数据集的划分--训练集、验证集和测试集

腾讯云测试服务神经网络

在机器学习中，经常提到训练集和测试集，验证集似有似无。感觉挺好奇的，就仔细查找了文献。以下谈谈训练集、验证集和测试集。

Flaneur

2020/03/25

5.3K0

训练集、验证集、测试集（附：分割方法+交叉验证）

spring

在《一文看懂机器学习》里我们介绍了机器学习的7个步骤，训练集（Training Dataset）主要在训练阶段使用。

easyAI

2019/12/24

32.7K0

String是一个奇怪的引用类型

编程算法

这个例子，string是纯粹的引用类型，但是在函数传值时类似于值传递；我之前给前后示例的内存变化图吧：

有态度的马甲

2021/07/12

6430

对抗验证：划分一个跟测试集更接近的验证集

腾讯云测试服务 spring NLP技术

不论是打比赛、做实验还是搞工程，我们经常会遇到训练集与测试集分布不一致的情况。一般来说，我们会从训练集中划分出一个验证集，通过这个验证集来调整一些超参数，并保存在验证集上效果最好的模型。然而，如果验证集本身和测试集差别比较大，那么在验证集上表现很好的模型不一定在测试集上表现同样好，因此如何让划分出来的验证集跟测试集的分布差异更小，是一个值得研究的课题

mathor

2021/07/07

2.4K0

奇怪的电梯

ios 人工智能

§、奇怪的电梯(lift.cpp) §【问题描述】 §大楼的每一层楼都可以停电梯，而且第i层楼（1<=i<=N）上有一个数字Ki（0<=Ki<=N）。电梯只有四个按钮：开，关，上，下。上下的层数等于当前楼层上的那个数字。当然，如果不能满足要求，相应的按钮就会失灵。例如：3 3 1 2 5代表了Ki（K1=3,K2=3,……），从一楼开始。在一楼，按“上”可以到4楼，按“下”是不起作用的，因为没有-2楼。那么，从A楼到B楼至少要按几次按钮呢？ §【输入格式】lift.in §输入文件共有二行，第一行为三个用

attack

2018/04/12

1.5K0

奇怪的知识

企业机器学习大数据神经网络深度学习

而数据中台则是将数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环节

solve

2022/03/30

8420

String是一个奇怪的引用类型

编程算法

这个例子，string是纯粹的引用类型，但是在函数传值时类似于值传递；我之前给前后示例的内存变化图吧：

JusterZhu

2022/12/07

3730

信息安全度量：什么是云要收集的

网络安全

CISO需要知道云安全性能的真实数据。因为C级别的高管和董事会会一直问安全管理者风险暴露相关的问题——“我们需要多高级别的安全？我们距离满足合规要求还有多少距离？”——CISO们也在寻找能够高效度量基于战略目标的云控制的方式，并且汇报这些发现。如果没有深入风险和花费，以及高官们实际关心的其他信息安全度量的仪表盘，那么怎么才能正确度量云上的安全运维呢？缓慢但坚定地，IT部门正在调整安全控制（文档化的流程）和架构模型来适应公有和私有云环境里的信息系统。随着预防性的，检测性的和响应式的控制正在进入混合云模型，

静一

2018/03/26

1.1K0

不同的batch_size对训练集和验证集的影响

size 博客程序工具可视化

我们知道，不同的batch_size对我们的训练集和验证集得出结果的精度和loss都会产生影响,是设置batch_size越大我们得到的精度越好，loss越好。还是batch_size越小我们得到的精度越好，loss越好呢？

算法与编程之美

2023/08/22

5920

奇怪的颜色

html

计算属性值字符个数，再把所有字符分成3组，不能有余数，如果位数不够就补0，每组颜色只有前两个字符有效并以十六进制的方式表示，非十六进制的字符以0表示。

GhostZhang

2022/08/22

8090

奇怪的 Javascript

javascript java https 网络安全 html

我的意思是，对于刚开始使用这种语言和他语言（例如 C++ 或 C#）的开发人员来说，javascript 可能会很奇怪。

疯狂的技术宅

2020/04/24

9810

PASCAL VOC数据集训练集、验证集、测试集的划分和提取

https 网络安全

参考：https://www.cnblogs.com/sdu20112013/p/10801383.html

狼啸风云

2019/12/10

4.1K0

验证集(Validation dataset)

腾讯云测试服务

在机器学习中，一般将样本分成独立的三部分训练集(train set)，验证集(validation set)和测试集(test set)。其中，测试集用来检验最终选择最优的模型的性能如何

easyAI

2019/12/18

1.5K0

奇怪的死循环

程序

#include<stdio.h> int main() { int i; int a[10]; for(i=0;i<=10;++i) { a[i]=0; printf("%d\n",a[i]); } return 0; } 该程序对应的汇编代码见如下代码: .file "cs18.c" .section .rodata .LC0: .string "%d\n" .text .gl

chinchao.xyz

2022/04/25

1.3K0

度量是这样炼成的，中国农业银行度量平台建设的思考与实践

devops 运维云计算

随着软件工程实践的不断深入，人们逐步认识到软件质量和软件生产过程密切相关。像传统制造业一样，只有提高软件生产过程能力才是企业长期、稳定地开发高质量软件产品的保障。那么，对于软件过程的现状和改进的效果如何进行检查？答案是只有通过度量。软件度量是对软件开发项目、过程及其产品进行数据定义、收集以及分析的持续性定量化过程，能够解决软件项目中很多问题，是软件研发中重要的一环。通过研发度量建立有效的控制、监督、分析和反馈机制，“数”说研发，让目标更明确、现状更清晰、改进更精准。一、农行研发度量面临的挑战 1、数据量

DevOps时代

2022/03/14

1K0

奇怪的函数调用

打包单片机 tcp/ip 编程算法

整理移动硬盘时，发现一个名为 attack 的目录，进去以后发现原来是一段简单的 C 语言代码。代码如下：

码农UP2U

2021/09/02

1.7K0

奇怪的编码问题

r 语言爬虫

今天使用R爬取数据的时候发现一个奇怪的问题，我将每个属性的数据先保存在vector中，然后再合并到data.frame中时，发现打印names时数据正常显示中文，但是打印data.frame或者写入csv文件时，却始终都是utf8的格式。代码如下：

用户2936342

2019/03/19

1.5K0

点击加载更多

相似问题

在kubernetes hpa中外部度量的值是奇怪的。

深度学习:训练集往往是好的，验证集是坏的。

多维数据集度量和mdx度量之间的差异

123

什么是好的机器翻译度量标准或黄金集

程序集上的NDepend度量

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

社区富文本编辑器全新改版！诚邀体验～

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

问验证集的度量是奇怪的。
EN