如何在训练数据集时确定块大小
在训练数据集时确定块大小是一个重要的决策，它会影响到训练过程的效率和结果的质量。确定块大小需要考虑以下几个因素：
- 数据集的大小：首先需要了解数据集的总大小。如果数据集很大，可以考虑将数据划分成较小的块进行训练，以便更好地利用计算资源和加速训练过程。
- 计算资源的可用性：确定块大小还需要考虑可用的计算资源。如果计算资源有限，可以选择较小的块大小，以便能够同时处理多个块并充分利用计算资源。
- 内存限制：训练过程中需要将数据加载到内存中进行处理，因此需要考虑内存的限制。如果内存有限，可以选择较小的块大小，以便能够将数据完全加载到内存中进行训练。
- 模型的复杂度：模型的复杂度也会影响块大小的选择。如果模型非常复杂，可能需要较大的块大小才能充分利用模型的表达能力。而对于简单的模型，较小的块大小可能已经足够。
- 训练算法的特性：不同的训练算法对块大小的要求也不同。一些算法可能对块大小有严格的要求，而另一些算法可能对块大小较为灵活。因此，需要根据具体的训练算法来确定合适的块大小。
总结起来，确定块大小需要综合考虑数据集大小、计算资源的可用性、内存限制、模型复杂度和训练算法的特性等因素。根据具体情况选择合适的块大小可以提高训练效率和结果质量。
腾讯云提供了多个与云计算相关的产品，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tensorflow），可以帮助用户进行训练数据集的处理和模型训练。此外，腾讯云还提供了云服务器（https://cloud.tencent.com/product/cvm）和云数据库（https://cloud.tencent.com/product/cdb）等产品，用于支持云计算和数据处理的需求。
相关·内容
2回答
如何在训练数据集时确定块大小
python、transformer
我希望通过将以前训练过的分词器应用于我的文本文件来构建训练数据集。我的文本文件的大小是7.02 GB (7,543,648,706字节)。)
这里的“块大小”到底是什么意思？我如何确定它的价值？
浏览 59提问于2021-02-21得票数 1
回答已采纳
1回答
Tensorflow对象检测:不使用自定义数据进行预测
python、tensorflow、machine-learning、object-detection
这是针对训练数据和评估数据进行的。100幅图像用于训练，20幅图像用于评估。下面是我所注释的内容的截图。对于训练，我使用了以下配置 ssd { image_resizer { shuffle: false}
如你所见
浏览 3提问于2018-08-02得票数 0
回答已采纳
1回答
理解PyTorch培训批次
pytorch
对于外部循环/时代的每次调用，整个训练集，在上面的示例中，training_loader每批迭代一次。这意味着模型不处理每个训练周期的一个实例。根据训练周期( for epoch in range(num_epochs): )，整个训练集按块/批处理，其中在创建training_loader时确定批大小。
浏览 0提问于2019-03-15得票数 0
回答已采纳
2回答
测试精度较差，但具有非常好的训练和验证精度
python、machine-learning、deep-learning、pytorch、loss-function
在我的网络训练期间，在我完成了我的训练批次的计算之后，我直接通过验证集并在其上进行批次测试我的模型。因此，我的验证不是在与培训不同的步骤上完成的。但我只是运行了一批培训，然后也进行了一批验证。log_p_yval = log_softmax_fn(val_output)
loss_val = loss_fn(log_p_yval, valtargets) 最后，我可以看到我的模型在每个时期都有非常好的训练和验证精度然而，在测试数据上，它并不是那么好。此外，验证损失类似于训练损失的两倍。
浏览 46提问于2021-09-18得票数 0
2回答
确定哪个模型对每个测试实例都有更好结果的学习算法
machine-learning、ensemble-modeling
他们现有的集成技术是否利用训练数据的子集来预测哪一种算法更适合于预测测试数据的每个实例？
假设我们有N个大小的训练集和K大小的测试集，其中需要使用训练集来预测特定的属性。我们可以将训练集分成两部分，用前半部分对每个模型进行训练，在下半场确定测试结果。根据实际测试用例(K大小集)的特点，确定使用哪一种算法。举个例
浏览 0提问于2017-11-05得票数 1
回答已采纳
1回答
使用从一个模型到另一个模型的概率作为特征
machine-learning、deep-learning
例如，我想要确定图片上的鸟是什么类型，我想使用CNN，对其进行训练，然后将概率结果与其他数据一起使用，如鸟的大小和体重，并将其提供给svm。
我是否需要使用训练和测试集来使用CNN提取这些概率？我是否应该将我的数据集划分为多个文件夹，然后提取每个不同测试文件夹的概率，或者我是否可以只对所有数据进行训练和测试并保存这些概率？
浏览 5提问于2017-08-04得票数 1
1回答
如何为机器学习的训练集找到正确的编号
machine-learning、classification、k-nn
我想开发一个机器学习算法，使用knn模型来对我的数据记录进行分类。我的问题是:是否有一个通用的方法来确定我的训练数据集应该有多大？
浏览 0提问于2021-09-07得票数 1
1回答
正则化误差与过拟合
random-forest、machine-learning-model、overfitting、regularization
我收集了来自50个唯一块的数据，然后将49个块中的数据合并成一个数据集，并将数据从1个块中保存下来用于测试。然后，我使用train_test_split(sklearn)将合并的数据集从49个块中拆分。然后利用训练数据对随机森林回归者进行交叉验证训练，并在列车(0.99)和测试集(0.94)上得到较好的模型得分(R^2)。但是，
浏览 0提问于2020-07-15得票数 1
2回答
如何在不超载内存的情况下有效地读取大样本图像？
python、numpy
在训练分类模型时，我将输入的图像样本作为NumPy数组传递，但是当我试图训练大型数据集样本时，会遇到内存错误。目前，我有120 GB大小的内存，即使有了这个大小，我也会遇到内存错误。GiB for an array with shape (2512019,82,175,1) and data type float32
如何在不增加内存大小的情况下解决这个问题？是否有更好的方法来读取数据，如<
浏览 22提问于2022-01-26得票数 0
回答已采纳
1回答
模型在Keras中工作得很好，但在Tensorflow中却不行。
python、tensorflow、machine-learning、keras、deep-learning
当使用Tensorflow时，在对模型进行拟合之后，在第一个时期它显示未知(1/未知)，但是当只使用keras时，它工作得很好。有什么问题吗?还是我做错了什么？
浏览 0提问于2020-07-23得票数 1
回答已采纳
2回答
机器学习中的测试数据集比训练数据集小
dataset、cnn、svm、accuracy
我想训练不同的机器学习算法(支持向量机，随机森林，CNN等)。对于相同的数据集(例如，MNIST)，然后比较它们的准确性。目标是从哪种训练数据大小中找出哪种方法比其他方法更好。为了做到这一点，我不断地减少原始训练数据集( 60000个样本)，并在这些减少的训练数据集上训练模型。如果我使用原始的MNIST测试数据集(10000个样
浏览 0提问于2019-04-28得票数 0
1回答
为ConvLSTM2d准备网格天气数据
python、numpy、keras、tensorflow2.0
我正在尝试使用一个使用每小时网格天气数据的ConvLSTM2d模型。我可以将数据放入具有以下维数(纬度、num_features)的四维数组中。ConvLSTM2d需要5d，我计划为序列长度设置一个变量，可能是24小时。我的问题是，我如何在这个数组中创建一个额外的维度来拥有序列长度维度？*我意识到在提出问题时，拥有样本数据集总是更容易，因此我创建了一个集来模拟问题。temp_df)
df.columns = [&
浏览 3提问于2021-09-28得票数 0
1回答
我的检查点艾伯特文件在训练时不会改变
nlp、training-data、bert-language-model、checkpoint、nlp-question-answering
我训练艾伯特回答问题的模型。我有20万对问答，我使用一个保存的2gb检查点文件。我在我的GPU GeForce 2070 RTX上训练它，每次用1000步来保存检查点，在训练检查点时，model.ckpt-96000.data-00000-of-00001文件只是保持135MB的大小而不增加我不明白为什么在像1500个问答对这样的更小的数据集中，它也产生135 MB的检查点文件。它还没有停止训练，但是否有可能随着这种训练模式的改进？
浏览 1提问于2020-10-07得票数 0
回答已采纳
1回答
"tf.keras.preprocessing.text_dataset_from_directory"？中的“子集”到底是什么？
python、keras、tensorflow、preprocessing
batch_size=BATCH_SIZE, subset="validation",)
据我所知，我们正在尝试将列车数据分解为对其但是，对于相同数据集上的“训练”和“验证”子集，我们做的都是相同的，validation_split值为0.2。那么，不是应该把0.2的训练数据用在raw_train_ds上，把0.2的训练数据用在raw_val_
浏览 0提问于2021-10-12得票数 0
2回答
多处理scikit学习
python、multithreading、numpy、machine-learning、scikit-learn
我使用load_file方法让linearsvc在训练集和测试集上工作，我正试图让它在多处理器环境下工作。如何在LinearSVC().fit() LinearSVC().predict()上进行多处理工作？我对scikit-learn的数据类型还不是很熟悉。这样做会更容易放入multiprocessing.pool()中，这样，将样本拆分成块，训练它们，然后将训练集组合回来，它会起作用吗？编辑:这是我的场景：
比方说，我们在训练样本
浏览 1提问于2012-10-25得票数 10
回答已采纳
1回答
为什么验证准确率达到1.00，而训练准确率为99%。我的数据由49个要素和70万个样本组成
machine-learning、neural-network
而训练准确率在98%到99%之间。我使用的是具有2个隐藏层的神经网络。这是一个多类分类问题。 训练数据的大小为777385，验证率为20%。
浏览 46提问于2019-06-18得票数 0
回答已采纳
2回答
为什么tensorflow模型文件的大小取决于数据集的大小？
tensorflow
在10K句子的数据集上训练后，我保存的模型的.index、.meta和.data文件的大小分别为3KB、58MB和375MB 在保持网络体系结构不变的情况下，在100K句子的数据集上进行训练，文件大小分别为3KB、139MB和860MB 我认为这表明大小取决于数据集的大小。According to this answer，文件的大小应该独立于数据
浏览 91提问于2019-03-05得票数 0
回答已采纳
1回答
在训练实例分割时，在图像数据集上创建增强的最佳方法是什么？
deep-learning、computer-vision、pytorch、artificial-intelligence、image-segmentation
背景:我正在使用YOLACT实例分割模型来训练图像集。数据集大小非常小(约20个图像)。模型不能正确收敛(当然，给定数据集大小)。我想通过添加一些增强的图像来增加数据集的大小。我知道我们有各种各样的图像增强技术和包，如image，albumentation，opencv等，但我需要图像和注释文件( COCO JSON )格式来训练模型。
浏览 29提问于2021-01-20得票数 0
1回答
SSd_mobilenet损失不能下降
python、tensorflow、object-detection-api
我尝试在我自己的数据集中训练ssd-mobilenet :训练图像: 3400，大小:1600*1200测试集:800，大小:1600 *1200 tensorflow -gpu :1.13.1GPU:4 go 10.0 cudnn 7对象:道路损坏，如校准器裂纹，但经过197000步后，我的训练损失无法下降2:我需要提前helps.Thanks
浏览 24提问于2019-08-12得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
