腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
2
回答
为什么超参数调优发生在验证数据集上,而不是在一开始?
、
、
、
、
尽管做了/使用过几次,但我仍然对使用验证集进行超参数调优感到有点困惑。 据我所知,我选择一个模型,对训练数据进行训练,对训练数据进行性能评估,然后对验证数据进行超参数整定评估模型性能,然后选择最佳模型并对测试数据进行测试。 为了做到这一点,我基本上需要随机选择一个模型来训练数据。我不明白的是,我不知道哪一种模式在一开始会是最好的。假设我认为神经网络和随机森林可能对我的问题有用。那么,为什么我不开始搜索一个一般的,例如,神经网络体系结构,随机森林体系结构,并从一开始,评估哪一个模型是最好的一小部分数据变化的所有超参数无论如何。 基本上为什么要选择一个基于人的“猜测”来做训练,然后在验证阶段进行超
浏览 0
提问于2022-05-28
得票数 0
1
回答
神经网络插入参数整定的r误差
、
、
我正在为波士顿数据集上的神经网络练习调整参数。我一直在犯一个持续的错误: 错误:调优参数网格应该有列的大小和衰减。 以下是我的Caret调优的设置: caret_control <- trainControl(method = "repeatedcv", number = 10, repeats = 3) caret_grid <- expand.grid(batch_size=seq(60,120,20), dropou
浏览 0
提问于2018-04-03
得票数 1
回答已采纳
1
回答
监视keras回调中的F1评分(或一般的自定义度量)
、
、
、
、
Keras2.0删除了F1评分,但我想监视它的值。我用序贯模型训练神经网络。 我定义了一个函数,如这里所建议的,。 只有在model.compile中使用该函数时,此函数才能正常工作。通过这种方式,我在每一步都能看到它的价值。问题是,我不想仅仅看到它的价值,但是我希望我的培训能够根据它的价值表现出不同的行为,使用Keras的回调。 如果我试图在回调中插入我的自定义度量,那么我会得到以下错误: “不可迭代” 您知道如何定义函数,以便它可以用作回调中的参数吗?
浏览 0
提问于2018-12-12
得票数 6
1
回答
Keras低精度分类任务
、
、
、
、
我在玩Keras和一个虚拟数据集。我想看看一个神经网络和一个有RBF核的标准支持向量机相比会有多好。任务很简单:为集合{0,1,2}中的20 dim向量预测类. 我注意到神经网络做得很可怕。支持向量机的正确率约为90%,而神经网络的正确率为40%左右。我的代码做错了什么?这很可能是我的一个错误,但经过几个小时的尝试各种参数的神经网络,我放弃了。 码 from sklearn.datasets import make_multilabel_classification from sklearn.svm import SVC from keras.models import Sequential
浏览 4
提问于2016-07-28
得票数 3
回答已采纳
1
回答
有了自动化的超参数调优,我们还需要学习超参数调优吗?
、
、
像AWS这样的工具具有自动调整超参数的能力,即使使用Tensorflow的神经网络等复杂的algos也是如此。那么,我们是否还需要学习如何进行超参数调优,或者干脆把它留给像Sagemaker这样的工具呢?Thx
浏览 0
提问于2020-11-14
得票数 0
1
回答
用于特征选择的LightGBM
、
、
我正在研究一个二进制分类问题,我的训练数据有数百万条记录和2000个变量。我运行lightGBM进行特征选择,并使用从lightGBM中选择的特性运行神经网络(使用Keras)模型进行预测。关于我所遵循的方法,我有几个问题。 当使用lightGBM进行特性选择时,我正在进行超参数调优。这是基于我的理解,随着超参数的变化,所选择的功能也会有所不同。我使用'goss‘算法和’增益‘作为特征重要性类型。我看过几篇他们使用lightGBM进行特性选择的文章,但我还没有看到在哪里进行超参数调优,它们只是使用默认设置。这是正确的方法吗?使用lightGBM进行特征选择,并使用神经网络根据从ligh
浏览 7
提问于2020-07-07
得票数 2
1
回答
用神经网络预测PHP中的时间序列
、
我目前正在建立一个网站,它将聚合新闻文章,然后根据它们的内容对它们进行分类。不过,我想分析一下这些文章发表的时间,以确定它们是否是某种趋势,从而使我能够预测下一篇文章可能发表的时间,并消除频繁或不必要的爬行尝试。 我在互联网上看过,似乎神经网络可以用来分析时间序列,但是我还没有发现任何有益的例子/代码片段,对于初学者来说很容易理解和适应。 这些文章似乎还建议,神经网络的输入应该是0或1,因此,您如何在PHP中创建一个具有以下输入的神经网络,即unix时间戳和输出单个值的能力? 1332193520 1342194916 1342196716 1342197376 13521
浏览 4
提问于2012-07-14
得票数 1
1
回答
Azure ML调优模型超参数
、
、
下面这个问题是在70-774考试参考书的最后一章提出的. 如果将一个神经网络与配置了随机扫描和最大随机扫描次数为1的优化模型超级参数模块连接起来,那么在实验执行过程中训练了多少个神经网络?为什么?如果您将验证数据集连接到Tune模型超级参数模块的第三个输入,那么现在有多少个神经网络被训练了? 答案是: 没有验证数据集11 (10的k倍交叉验证+1与所有数据与超参数的最佳组合)。有了验证集,只有一个神经网络被训练,所以最好的模型没有使用验证集来训练,如果你提供它。 10人从哪里来?据我所知,这个数字应该分别是2和1。它不应该在n等于运行次数的情况下创建n倍吗?
浏览 2
提问于2018-10-08
得票数 0
回答已采纳
1
回答
在增加辍学率时,我们是否需要增加培训数据的规模?
、
、
我使用的是一个完全连接的前馈神经网络,它使用keras建立的文本分类。它由3个隐藏层组成。我计划在每个隐藏层之后添加一个辍学层,以防止过度贴合。在调整辍学率时,我将从0.2 -> 0.3 -> 0.4 -> 0.5增加值。 我想知道我是否应该增加训练数据的大小,以便有一个更准确的比较。我的意思是,假设我有100万的训练数据,一个0.2的辍学率。我是否应该将退学率为0.3的培训数据增加到150万? 计算: 1000000 * 0.8 * 0.8 * 0.8 = 512000 (辍学率为0.2) 1500000 * 0.7 * 0.7 * 0.7 = 514500 (辍学率为0.
浏览 0
提问于2018-03-07
得票数 2
回答已采纳
1
回答
卷积神经网络中滤波器的选择
我已经完成了卷积神经网络的实现部分。但在卷积神经网络中,如何选择滤波器来获得卷积特征仍然是个难题。正如我所知,在filter.is的帮助下,我们通过检测特征(如眼睛、鼻子、嘴巴)来使用卷积层从图像中识别人脸。过滤器包含眼睛、鼻子、嘴巴来从图像中识别人脸是真的吗?
浏览 0
提问于2018-11-14
得票数 0
1
回答
神经网络模型的输出
、
我已经在MATLAB神经网络工具箱中创建了几个模型,它们有100个输入和10个输出,分别对应于不同的类。最后,NN给出了一个关于性能的图,这是一个数字。这一措施对应于什么?它是每个输出的误差总和吗? 我如何才能知道NN是否分类良好?
浏览 14
提问于2016-09-20
得票数 1
1
回答
计算机视觉的深度学习: MNIST阶段之后会发生什么?
、
、
、
、
我正在尝试使用深度学习技术来探索计算机视觉。我已经阅读了基本文献,使用MNIST数据创建了自己的神经网络来对数字进行分类(不使用TF、Keras等任何库,在此过程中理解了损失函数、优化、反向传播等概念),然后还使用TF Keras探索了时尚MNIST。 我应用到目前为止获得的知识来解决Kaggle问题(识别植物类型),但结果并不是很令人振奋。 那么,我的下一步应该是什么呢?我应该做什么来提高我的知识和模型来解决更复杂的问题?在初学者阶段之前,我还应该读些什么书、文学作品等呢?
浏览 24
提问于2019-10-03
得票数 0
回答已采纳
1
回答
为什么我的助推车型在61款中只有4款适合呢?
、
、
、
、
我正在研究一个二元分类问题,使用平衡套袋随机森林,神经网络和增强技术。我的数据集大小是977,类比例是77:23。 我的数据集中有61个特征。然而,经过大量的特征选择活动后,我得到了5个功能。但是,这5个特征是用RFECV、Borutapy等随机森林估计器来识别的。因此,有了5个特征,我认为我的Xgboost模型在测试集上不会过分适合,并且提供了更好的性能,但是Xgboost模型仍然适用于测试集,在测试集上产生的结果很差。然而,随机森林在train和test上都具有相似的性能。能帮我理解为什么会发生这种事吗? 列车和试验性能如下 随机林列数据 📷 随机森林-测试数据 📷 随机森林的 roc_a
浏览 0
提问于2022-03-04
得票数 1
2
回答
在Keras中,x_train和x_test有什么区别?
、
、
我看了几个教程来深入研究Keras,以便使用卷积神经网络进行深入学习。在本教程(以及Keras的官方文档中)中,MNIST数据集的加载方式如下: from keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() 然而,没有解释为什么我们有两个元组的数据。我的问题是:什么是x_train 和 y_train ,以及它们与 x_test 和 y_test counterparts有什么不同?
浏览 0
提问于2017-09-29
得票数 13
回答已采纳
3
回答
优化超参数还是运行多个时期更好?
、
、
、
每当我训练一个神经网络时,我只让它经历几个时期(1到3)。这是因为我在一个糟糕的CPU上训练他们,要让神经网络跨越许多时代需要一段时间。 然而,每当我的神经网络表现不佳,而不是让它经历更多的时代,我试着优化超参数。这种方法通常是成功的,因为我的神经网络非常简单。 但是,以这种方式训练神经网络是一种糟糕的做法吗?是否有缺点,立即优化的超参数,而不是运行更多的时代神经网络?
浏览 0
提问于2018-06-12
得票数 2
回答已采纳
2
回答
如何在培训阶段使用验证集?
我对在训练阶段如何使用验证集感到困惑(像CNN这样的神经网络)?在Matlab或python(Keras)这样的平台中,我将数据集分为训练集、验证集和测试集。我知道验证集用于调优超参数(如神经元数目和学习速率),假设使用SDG优化器,如何根据验证集进行调优?验证集是否只是给出了神经网络对不可见数据(验证集)表现的指示,然后基于此我手动设置了超参数?还是自动(优化器)调优超参数?
浏览 0
提问于2020-07-19
得票数 2
回答已采纳
1
回答
如何规范与以前数据集相关的新记录?
、
我试着用电筒建立一个神经网络。我使用来规范我的数据集。但是,如何将需要预测的新传入记录规范化为数据集的混合最大值? scaler = MinMaxScaler() scaler.fit_transform(file_x[list_of_features_to_normalize])
浏览 0
提问于2020-01-19
得票数 1
回答已采纳
1
回答
如何为tf.contrib.learn.DNNRegressor选择参数
、
我现在正在做DNN回归分析。我使用tensflow的DNNRegressor。但我不知道如何调整合适的参数才能得到一个好的神经网络模型? regressor = tf.contrib.learn.DNNRegressor(feature_columns=feature_cols, # hidden_units=[10, 128], # loss:42.252525 # hidden_units=[50, 320], # 7.66 # hidden_units=[50, 640], # 22.162941
浏览 0
提问于2018-04-25
得票数 0
回答已采纳
1
回答
验证集在深度学习网络中的作用仅仅是为了尽早停止吗?
、
、
在利奥·伊西克顿( learning )在第四课“https://www.youtube.com/watch?v=ms-Ooh9mjiE&list=PLWKotBjTDoLj3rXBL-nEIPRN9V3a9Cx07&index=4 过载、不足和模型容量”中提出的“深度学习速成课程”中,他建议数据应该分成列、验证和测试集。训练集用于训练模型,验证集用于优化超参数,测试集用于对泛化误差进行无偏估计。当我看人们是如何实现这个设计的时候,他们通常使用gridseachCV来评估深度学习神经网络来配置某些超参数,如神经元数量、学习速率、优化器等,然后使用验证集来执行早期停止。 我认为从
浏览 0
提问于2019-04-14
得票数 0
2
回答
"mlp“和"mlpML”的区别
、
、
、
我正在使用R的Caret包来创建最大能源需求的预测模型。我需要使用的是神经网络多层感知器,但在Caret软件包中,我发现有两种mlp方法,即"mlp“和"mlpML”。两者之间的区别是什么? 我读过一本书(Advanced R Statistical and Data Models: Analysis,Machine Learning,and Visualization)中的描述,但它仍然没有回答我的问题。
浏览 0
提问于2020-05-12
得票数 1
1
回答
EM-ELM交叉验证
、
、
我知道交叉验证用于找到最大限度减少平均误差的最佳超参数。例如,将交叉验证的平均误差最小化的神经元数在ELM中估计。 但我想知道如何在EM-ELM网络中应用交叉验证(如K-折叠): 冯,G,黄,G.B.,林,Q,& Gay,R. (2009)。误差最小化的极端学习机器增长的隐藏节点和增量学习。IEEE关于神经网络的交易,20 (8),1352-1357。 其中,使用训练集自动估计体系结构。在EM-ELM中应用交叉验证的最佳和最标准方法是什么?是否有可能将交叉验证过程纳入到网络的增长中?
浏览 0
提问于2018-07-05
得票数 4
2
回答
寻求有关为C#应用程序获取最佳配置参数的建议-可能是一个学习问题
、
、
、
这是我的情况: 我的公司有一个小的C#控制台应用,带有一个配置文件。在该配置文件中有大约20个用于我们设备(振动测量设备)的校准参数。我们经历了一个手动过程,在这个过程中,我们使用内部知识手动调整校准参数,进行测试运行,再次调整,然后迭代,直到我们获得正确的校准参数。这是一个有效的人类循环。 现在这有点低效和耗时,我不禁认为这个过程是我们可以自动化的。然而,我不确定我是否正确地考虑了这个问题,以及我可以使用哪些技术来尝试和解决这个问题。 例如,我可以只编写一些代码,循环遍历每个参数组合,然后蛮力找到最准确的参数集,但这很丑陋,我们很快就会进行数十亿次迭代。 对我来说,这似乎是某种学习或神经网络
浏览 0
提问于2020-02-10
得票数 1
2
回答
如何解释不平衡测试集的PR曲线和ROC曲线
、
、
、
、
我在一个数据集上训练了一个神经网络,测试集非常不平衡,正负比为1:25000。所有积极的例子都是正确预测的,相反,正确预测的负面因素占总否定量的99%。 PR和ROC曲线的作图如下: 📷 从这些曲线可以推断出什么?这些都是我第一次使用量词,我很困惑。我认为精度总是很低,因为被错误地预测为肯定的否定词有一个高分,由分类器分配(接近1)。相反,我认为这是很高的,因为所有正面的例子都是正确预测的。这是我的假设,如果我错了,请纠正我。
浏览 0
提问于2018-06-26
得票数 1
1
回答
验证和测试的准确性差别很大
、
、
、
、
我目前正在处理kaggle中的一个数据集。在训练了训练数据的模型后,我在验证数据上对其进行了测试,得到了0.49左右的准确率。 然而,相同的模型在测试数据上的准确率为0.05。 我使用神经网络作为我的模型 那么,发生这种情况的可能原因是什么,以及如何开始检查和纠正这些问题?
浏览 3
提问于2018-02-10
得票数 10
回答已采纳
2
回答
自动选择超参数
、
、
、
、
我在学习神经网络和正则化。我注意到有很多超参数需要手动设置,这取决于您试图解决的问题的类型,您正在处理的数据集,等等。 我想知道是否有一种方法可以创建另一个优化模型,使其自动找到训练所需的最佳超参数?我的意思是,我们可以通过梯度下降或其他方法找到合适的权重。所以,如果我们能在超参数上找到某种代价函数,我们不也能做到吗?基本上就像AI程序调整我们的AI模型一样。 这样的事情是可能的,或者至少是一个可以问的问题吗?也许这已经在一些我不知道的研究中完成了?
浏览 39
提问于2020-01-18
得票数 1
回答已采纳
1
回答
训练误差随时代的变化而减小
、
我试图在STL-10数据集上训练一个VGG-19神经网络,其中包含5000幅图像(每个类500幅)。输出类的数量是10。 我没有改变架构,只是将完全连接层的大小从4096减小到2048,保持辍学(0.5)不变。 这样做的原因是,由于训练图像的数量较少,所以为了避免过度拟合,我缩小了完全连接层的大小,但我不知道这样做是否正确。。 我还使用了(学习率= 0.001)代替了本文中提到的SGD。 我只运行了4个时期的代码。我观察到,虽然成本下降很小,但训练精度却在下降。 第一阶段后,成本: 2.304091,训练准确率: 11.99% 在第二个时代之后,成本: 2.303365,训练准确率::11.2
浏览 0
提问于2018-03-27
得票数 0
2
回答
为什么我不能在训练中选择我的超参数?
、
假设我已经将数据分为三个部分:培训、验证和测试。我知道,例如,在神经网络中,隐藏层数是一个超参数。为什么我不能在训练集中训练众多的NN架构,然后在测试集中测试它们的准确性,从而允许我选择一个最终的模型?在这个实例中,验证集的目的是什么?
浏览 0
提问于2018-05-14
得票数 3
回答已采纳
1
回答
如何使神经网络能够调整自己的超参数?
、
、
、
我很好奇,当超参数是由神经网络本身设置,或者通过创建一个神经网络来封装和影响它封装的网络的超参数时,会发生什么。 我在这里的目标是实验,并获得更多关于神经网络的深入知识。但我很难找到信息才能进行这样的实验。这是一个从来没有做过的方向,或者这个想法实在是太蠢了。 现在我想知道的是,你们中有谁知道我在哪里能找到信息(如书籍、网页、论文等)来进行这样的实验?
浏览 0
提问于2018-08-10
得票数 5
回答已采纳
1
回答
用神经网络的最佳实践
、
、
我试图为3种神经网络建立一个多数投票系统,我遇到了套袋法的概念。实际上,我想使用神经网络作为弱学习者(我知道它是可争论,但一些论文已经尝试过,我也想尝试)。 有关我试图构建/构造的投票系统的更多信息,请阅读下面的线程 ( softmax层更好地提供线程中的函数,因为大多数函数只给出了与3 NNs相当的精度,但并没有提高整体精度)。 我读到,套袋可以提高弱学习者的整体准确性,但正如你所看到的,我只有3个学习者,而且没有任何关于使用神经网络的明确信息。经过一些阅读,我才发现,通过线性的方式使用训练的NNs的输出,我可以利用神经网络来进行集成学习。如果我想按步骤详细说明这一点,我会写: 将数据集划分
浏览 0
提问于2019-08-28
得票数 1
回答已采纳
1
回答
人工神经网络中参数与权重的差异
我认为,在写作中,我们经常提到神经网络中告诉我们数据是参数的部分,当我们真正指的是权重时,这是正确的吗?判决会..。 通过对鸟类迁移数据的训练,更好地理解神经网络的参数,可以使我们更好地理解这些动物的行为。 ...be最好用. 通过对鸟类迁移数据的训练,更好地了解神经网络的权重,可以使我们更好地理解这些动物的行为。
浏览 0
提问于2018-06-04
得票数 2
1
回答
插入神经网络:错误的分类模型
我试着训练一个模型来预测一个连续的数值变量,用“神经网络”方法在卡雷特包中。执行以下代码行时,将引发以下错误: Train.default中的误差(Cadence_IVs,Cadence_Train_Response,method = "neuralnet“):错误的分类模型类型 NN_Cadence <- train(Cadence_IVs, Cadence_Train_Response, method = "neuralnet", layer1 = 10, layer2 = 5, decay = 0.1, linear.output = TRUE) 这
浏览 1
提问于2016-12-24
得票数 1
1
回答
特征选择,是否有可能将包装和嵌入式方法结合起来?
、
、
、
我用神经网络预测PM10浓度(一个回归问题)。由于包装方法依赖于模型,因此通过对数据集中所有特征进行优化的神经网络模型将不能正常工作(因为包装器每次减少数据集中的特征,就必须重新调整神经网络的隐层大小)。 所以我的问题是,我可以使用嵌入方法(Lasso)作为包装方法中的估计量吗? 这是我要问的特性选择部分: from mlxtend.feature_selection import SequentialFeatureSelector feature_selector = SequentialFeatureSelector(LassoCV(), k_features=3,
浏览 0
提问于2019-09-01
得票数 0
回答已采纳
1
回答
如何在深度学习中选择CNN的窗口大小?
、
、
、
、
在卷积神经网络(CNN)中,选择了一种滤波器进行权值分担。例如,在下面的图片中,选择了一个具有步长(相邻神经元之间的距离)1的3x3窗口。 因此,我的问题是:如何选择窗口大小?,如果我使用4x4的步幅为2,会造成多大的差异?提前谢谢!
浏览 3
提问于2017-10-31
得票数 8
回答已采纳
2
回答
我可以在KVM框中调优内核参数吗?
有些包(如Postgree)需要调优内核参数以获得更好的性能。 因此,我肯定不能使用容器(比如Docker/CoreOS)。 但是KVM呢?我应该租用裸金属,还是可以在KVM框内调优内核参数? 考虑一下KVM主机所提供的比裸金属服务器便宜得多.
浏览 0
提问于2018-06-30
得票数 0
回答已采纳
2
回答
如何告诉我的神经网络,我更关心的是精确度,而不是回忆?
、
、
我正在训练一个多标签分类问题的神经网络,所以我的最后一层由n_classes乙状结肠神经元组成。 现在,我知道,这是不可能的学习任务,因为噪音和缺乏可预测的力量在我的特点。然而,我假设可预测的力量应该足以做出好的预测,至少对一些数据点是这样的。即使这些案例只是少数几个,如果神经网络至少获得了那些肯定(高精度),并错过了绝大多数,因为他们的困难(低回忆),我会很高兴。 当然,我可以正常地训练模型,然后设定与我的目标相匹配的门槛,但这并不能让我信服。我想在培训过程中介绍这一目标。如果有些地方很难分类,我希望我的神经网络在训练过程中发现,忘记它们,把注意力集中在其他更可行的案例上。 到目前为止,我唯
浏览 0
提问于2020-05-03
得票数 1
1
回答
如何改进我的数据集、图层和超参数以实现我的目标?
、
、
、
、
大家好,我目前正在开发一个神经网络来提供一些关于我正在为我的生物医学工程毕业论文开发的主题的模拟,我目前面临着一些问题,因为我的network.This在我第一次使用python,keras,tensorflow和一般的机器学习时表现不佳。 数据: 基本上,我想预测一个向量,它包含由N个框架组成的圆形网格中的导电率的值。我之前已经生成了10000个网格,每个网格在一个随机的位置都有一个圆形的伪影。这个伪像涉及到导电性的变化。背景电导率设置为1,在伪像中心为100,在伪像边界为~50。我已经模拟了在我的网格边界注入电流,为每个网格读取从放置在边界的16个电极获得的208电压。我的目标是开发一种神
浏览 0
提问于2019-05-25
得票数 0
1
回答
与线性模型相比,深度神经网络的缺点是什么?
、
我们已经听说了很多关于人工神经网络相对于其他模型的优点,但是与最简单的线性模型相比,它们的缺点是什么?
浏览 0
提问于2017-07-22
得票数 3
回答已采纳
2
回答
基于Matlab的神经网络分类参数设置
、
、
、
最近,我尝试使用Matlab内置神经网络工具箱来完成我的分类问题。但是,我有一些关于参数设置的问题。 a.隐藏层中神经元的数目: 本页面上的示例显示了一个两层(即一个隐藏层和一个输出层)的前馈神经网络。在本例中,它使用隐藏层中的10个神经元。 net = patternnet(10); 我的第一个问题是如何为我的分类问题定义最佳的神经元数目?我是否应该使用交叉验证的方法来获得一个训练数据集中表现最好的神经元数量? 有选择三层或多层神经网络的方法吗? 在神经网络工具箱中,我们可以使用许多不同的训练方法。可以在找到一个列表。该页面提到,最快的培训功能通常是“培训”;但是,一般说来,哪一种培训效果最
浏览 2
提问于2014-04-07
得票数 0
2
回答
神经网络训练误差的拟合
、
、
、
、
我试图将神经网络的训练误差曲线拟合为训练迭代次数的函数。下面的图片用红色显示了一个例子。在这里,我训练了3000次迭代。我感兴趣的是,我是否能够找到一个函数,可以在最初的1000次(左右)迭代中,以某种合理的精度外推到3000次迭代。 但是,我不知道哪种功能形式最适合我使用。首先,我尝试了f(x)=A+B_exp(-C_x)形式的指数,它用蓝色表示。显然这不太好用。指数消失得太快了,然后基本上就变成了常数。 也许这是很困难的,因为训练的开始显示了错误的急剧下降,但是后来又转向了更渐进的更高的迭代。但是,有神经网络训练经验和/或拟合未知函数的经验的人可能会有一些想法。我一直在尝试各种指数型和多项
浏览 4
提问于2013-12-14
得票数 1
1
回答
尽管overcommit_memory设置为2,但OOM杀手仍在攻击
、
我的应用程序在嵌入式Linux中运行了几个小时,突然OOM Killer跳了出来。 我设置了overcommit_memory=2和overcommit_ratio=50来挑衅这种情况,并捕获可能的泄漏,但OOM杀手仍然出局! 为了检查我的设置是否处于活动状态,我请求了一个大的malloc,当我设置overcommit_memory=2时,它确实返回零。 那么,为什么OOM杀手还在启动,我可以做些什么来调查问题的根源?
浏览 2
提问于2011-07-24
得票数 3
回答已采纳
2
回答
神经网络中的连续训练
、
、
我有一个巨大的trainData,我想从中提取随机的子集(假设1000次),并使用它们来连续训练神经网络对象。是否可以使用neuralnet R包来实现。我的想法是这样的: library(neuralnet) for (i=1:1000){ classA <- 2000 classB <- 2000 dataB <- trainData[sample(which(trainData$class == "B"), classB, replace=TRUE),] #withdraw 2000 samples from class B dataU <-
浏览 2
提问于2016-09-20
得票数 0
2
回答
添加进度条或百分比以调整R中的函数
、
、
、
在e1071中,R的库有一个内置的()函数来优化我们的算法。 tuneop=tune(svm,y~.,data=dat,kernel="radial",ranges=list(cost=c(0.001, 0.01, 0.1, 1,5,10,100),gamma=c(0.001, 0.01, 0.1, 1,5,10))) 在支持向量机模型中,我使用调优函数来优化我的伽玛和成本参数。对于小型数据集,tune()只需少量时间即可生成最佳模型。但是对于一个非常大的数据集,这需要很长的时间。因此,是否可以添加一个进度条或百分比来监视我们的模型调优的进度。
浏览 0
提问于2016-01-02
得票数 2
1
回答
调优XGBoost超视距的建议?
、
、
XGBoost有相当多的超参数需要调优:最大深度、最小子权重、迭代次数、eta、伽马、考虑的列百分比和考虑的样本百分比。 在一个巨大的网格搜索中同时调优所有这些在计算上是不可行的。因此,这些都必须按照某种顺序进行。 你有什么建议吗? 目前,我首先把Eta和N次迭代调到一起,然后是最大深度和MCW一起,然后是集中样本和行样本,最后是伽马。 你有别的主意吗?如果你像这样按块的方式调整它,你如何决定在一开始修复超参数的值?例如,在调整Eta等时,您设置了最大深度和MCW吗?
浏览 0
提问于2022-02-16
得票数 0
1
回答
如何使用Amazon Sagemaker上的自定义docker容器创建超参数调优作业?
、
、
我创建了一个自定义的docker容器来在Amazon Sagemaker上运行Catboost,遵循这个演示(https://github.com/aws-samples/sagemaker-byo-catboost-container-demo/blob/master/Catboost_container_for_SageMaker.ipynb)。我现在想使用这个自定义容器进行超参数调优,但这不是内置或预建的Sagemaker容器,因此我不确定是否可以或如何使用自定义容器在Sagemaker上创建超参数调优作业。我没有找到任何关于使用自定义docker容器来做HYT的官方文档或官方示例。
浏览 35
提问于2021-01-03
得票数 4
1
回答
如何在tensorflow中验证神经网络?
、
、
、
、
目前,我的神经网络只使用训练数据集进行训练,但我也想验证,但我不知道如何准确地做到这一点。我应该在每个时期之后对整个验证集运行测试吗?如果是,那么从测试中,我会得到一个准确性,但我也不知道该怎么做?如何在此基础上调整参数?我只需要再运行一次优化器吗?在这种情况下,验证集的结果对它有何影响? optimiser = tf.train.RMSPropOptimizer(learning_rate=learning_rate).minimize(cost) # finally setup the initialisation operator init_op = tf.global_va
浏览 0
提问于2018-03-16
得票数 0
1
回答
测试模型性能
、
、
一旦建立了模型,我们想要检查它的性能,我执行了以下操作 在训练集上预测到的。 计算训练集上的混淆矩阵和ROC曲线。 在测试集上预测 在测试集上计算混淆矩阵和ROC曲线。 我想知道这是一种正确的方法吗?还有什么更精确的方法可以做到呢? 我使用的是决策树随机森林支持向量机,两者都是线性径向朴素贝叶斯。 Logistic回归与神经网络他们都有不同吗? 业绩计量
浏览 0
提问于2016-04-24
得票数 1
1
回答
如何防止HoughLines多次检测特定行?
、
、
、
、
因此,我正在编写这段代码,从图像中的一些图形中提取数据。这些图像都是从一本书中扫描出来的。既然我们在这里讨论的是100+图像,我当然想要自动化这个过程。我的第一步是确保所有图像都对齐。因为书的书页是手工扫描的,所以扫描都是相对于彼此稍微移动或旋转的。幸运的是,图像上有一些虚线,可以用作参考点来对齐它们。然后,我可以将图像分割成较小的子图像,在这些虚线上对图像进行切片。这样,所有子图像对所有扫描图像都是相等的。 所以,第一步当然是检测这些虚线。我的策略可以分为四个步骤: 使用形态变换将虚线转换成实线 使用Canny边缘检测检测所有边缘 使用HoughLines识别行 在面具上画这
浏览 4
提问于2019-08-02
得票数 1
1
回答
JVM主要垃圾收集已有数月未运行
、
、
我的应用程序垃圾收集器过去经常运行一个主要的,可能一天一次。但是它突然停止了工作。现在它已经达到了90%,我不得不重新启动应用程序几次。这是在生产环境中,我允许做的是通过提供的UI读取日志并查看JVM状态。 我的另一个观察是,在过去的3个月,前2个月,没有次要的垃圾收集,但有很多主要的垃圾收集。上个月没有大的收藏,但有很多小的收藏。
浏览 10
提问于2016-09-23
得票数 2
回答已采纳
1
回答
如何配置增强树模型
、
、
、
我想配置一个增强的决策树,但不知道如何做,我知道每个参数的含义,但不知道我必须分配给它的最佳值。 以下是参数: 每棵树的最大叶数(:60,100,200,300 ) 每个叶节点的最小样本数:我放置( 10,30 ) 学习率:我把(0,1) 树数构造:我把(2000,5000,6000) 随机数种子:我把(4) 问题是如何知道你是把正确的值,还是你没有过适合的模型?
浏览 1
提问于2017-07-12
得票数 0
1
回答
如何对单线程服务器进行调优,使其速度惊人?
、
、
我们有一个在单个主机上运行的许可证管理器服务器。它接受TCP连接,执行某种类型的交换(我还没有对其进行反向工程),并在客户端被授权运行程序的期间保持TCP连接的打开。我们购买了大量的(>500)许可证。所以这个服务器有数百个打开的TCP连接。 我们有一个不合作的供应商,他不会提供对他们的许可证服务器的源代码的访问,也不会帮助我们调优Unix服务器。 我想对服务器进行调优,以便它能够在几毫秒内响应数百个连接。我们没有服务器的源代码,但是我们可以调优正在运行的Linux操作系统。 我的问题是:我们应该调整哪些参数? 我已经对客户机进行了修改,以便在无法连接到服务器的情况下进行随机回退和重试。
浏览 0
提问于2018-07-21
得票数 -6
回答已采纳
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
学习笔记-神经网络及参数调优(一)
Linux内核参数调优
深层神经网络参数调优(一)——方差、偏差与正则化
参数调优与交叉验证
深层神经网络参数调优(二)——dropout、题都消失与梯度检验
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券