这是一个一般性的问题，但我附加了一个真实的数据集来说明想法。当我在一个非常大的数据集上训练一个模型时，我花了几个小时才完成(逻辑回归，macbook air，CPU:1.4 GHz Intel Core i5 8G内存)。有没有一种方法可以分割/分片训练数据本身，这样我们就可以在sklearn或python中更有效地计算模型</
浏览 12提问于2018-02-17得票数 0
1回答
大数据集的特征缩放
、、、
我试图使用深度学习模型来预测时间序列，在将数据传递给模型之前，我想对不同的变量进行缩放，因为它们有很大的不同范围。我通常是“动态地”这样做的:加载数据集的训练子集，从整个子集获取定标器，存储它，然后在我想要使用它进行测试时加载它。
现在的数据</em
浏览 0提问于2018-10-04得票数 2
回答已采纳
我必须在我的大学做一个深度学习项目，在那里我需要使用一个医学图像数据库。该数据库存储在Google Cloud Platform存储桶中。但是，数据库的大小超过4TB，因此我无法使用gsutil下载数据。我也不能使用Google Colab notebook，因为它的磁盘存储容量是350 is。有没有什么方法可以访问数据并使用它来教授我的网络？
浏览 14提问于2019-11-03得票数 0
2回答
我正在使用sklearn工具，它需要在培训和测试数据集中分离数据集。据我所知，为了构建模型，需要将数据集中的数据集和验证数据集(找到模型的参数)分开，而对于超参数的微调，则需要一个测试数据集。有趣的是，考虑到我在查看sklearn文档时发现的</em
浏览 0提问于2021-06-10得票数 1
1回答
我正在开发一个金融时间序列预测模型，使用sklearn使用StandardScaler进行缩放。我训练一个模型，然后在数据输入时定期使用该模型。由于数据量大，培训必须分批进行。现在，我正在使用不同的定标器对每个批进行缩放，以训练每个批次，并对</em
浏览 0提问于2022-10-19得票数 0
1回答
我有一个大的数据集，它被划分为三个块(训练-验证-测试)。我想要执行交叉验证( CV )，因为我有一个大的数据集，它将花费太长的时间来执行整个数据集的简历。什么是正确的分区来执行简历？我看过一些教程，它们只使用训练分割，而其他只使用验证分割，而其他则使用整个
浏览 0提问于2018-09-25得票数 1
回答已采纳
我看了几个教程来深入研究Keras，以便使用卷积神经网络进行深入学习。在本教程(以及Keras的官方文档中)中，MNIST数据集的加载方式如下：然而，没有解释为什么我们有两个元组的数据。我的问题是:什么是x_train 和 y_train ，以及它们与 x
浏览 0提问于2017-09-29得票数 13
回答已采纳
我有一个非常复杂的基于LSTM的神经网络模型，我正在对Quora重复问题对进行训练。在原始数据集中大约有40万个句子对。在整个(或80%)数据集上进行训练将需要大量的处理能力和计算时间。如果我选择数据集的一个随机子集(比如8000对)<em
浏览 14提问于2019-10-30得票数 0
因此，据我所知，交叉验证是用来确定最佳模型的。假设我使用的是5倍交叉验证，这意味着我必须制作5种不同
浏览 0提问于2018-09-29得票数 1
回答已采纳
所以我知道您不应该在Pandas DataFrame上迭代，但是我找不到其他方法来解决这个问题。
我有很多不同的时间序列，比如说，它们是一天之内的股票价格。对于每一个Ticker，我想采取各种模型，并对它们进行连续的更大范围的数据培训。具体来说，我想用一个模型，对day1数据进行训练，预测day2。在day1和day2上
浏览 3提问于2020-02-06得票数 1
我试图在Python中使用机器学习。现在我正在使用sklearn和TensorFlow。我想知道，如果我有一个需要更新的模型时，新的数据来做什么。例如，我有财务数据。我用TensorFlow建立了一个LSTM模型并对其进行了训练。但是新的数据每天都会出现，我不想每天对模型进行再培训。有没有一种
浏览 4提问于2020-12-17得票数 2
2回答
我有一个多类的问题，我正在为它构建一个分类器。我有N个总数据点我想预测。如果我用n个
有人能给我指一篇讨论这个问题的文章，或者提出一个研究的公式吗？
浏览 0提问于2018-09-27得票数 2
1回答
从验证精度到测试精度的显著下降
、、、、
给我一个大的训练数据集(>70k样本)和一个独立收集的测试集(~2k)。在测试集上，我始终取得了不错的验证精度，但精度却明显较低。我一直在执行这样的验证：
3)对其
浏览 0提问于2019-08-11得票数 3
我有大约80万的产品描述与分类。大约有280个类别。我想用给定的数据集来训练一个模型，以便将来我可以预测给定产品描述的类别。由于数据集很大，所以我无法对其抛出MemoryError的数据进行TF。我发现当处理大数据时，Hashingvector是可取的。但是当应用Hashingvector时，我发现它产生了1048576个特征<
浏览 0提问于2018-05-30得票数 2
回答已采纳
我使用SkLearn创建了一个RandomForestClassification模型，使用了10个不同的文本特征和10000个训练集。然后，我对模型(76mb)进行了酸洗，希望将其用于预测。但是，为了生成随机森林，我在分类/字符串数据上使用了LabelEncoder和OneHotEncoder以获得最佳结果。
现在，我想拉出酸洗模型，
浏览 0提问于2017-01-06得票数 0
回答已采纳
我是python中相对较新的数据科学，在探索一些关于数据科学的竞争时，我对“训练数据集”和“测试数据集”感到困惑。一些项目合并了这两个项目，另一些项目则保持分离。拥有两个数据集的基本原理是什么？任何建议都将是有益的，谢谢
浏览 1提问于2017-04-25得票数 0
2回答
线性回归拟合()加速
、、、
我想用numpy数组(几百万)的组合来做线性回归，并且想要加速这个for循环： R2 = LR.fit(comb, y).score(comb, y)data = array([[ 0.1, 0.2, 0.3
浏览 14提问于2021-03-06得票数 0
1回答
我有一个数据集，并希望在不同大小的数据集子集上对CNN进行培训。我已经有一个CNN，如果我使用整个数据集，分类非常好。现在的问题是，如果我真的应该尝试额外优化CNN的参数为子集，无论我是否做数据增强？如果我试图通过使用RandomizedSearchCV或GridSearchCV来优化卷积层的
浏览 0提问于2019-09-02得票数 0
我有预测各种事物的500+模型，以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。目前，我的评分过程大约需要5天，操作方法是将400m+记录分块成10万人的片段，并旋转n个线程，每个线程都有一个特定的500+模型子集，并以这种方式运行，直到所有模型的所有记录都得分为止。每个线程都是一个Python进程，它提交R代码(即加载一个R .rds<e
浏览 0提问于2020-01-21得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
