在进行深度学习时，我是否可以使用来自不同来源的数据集

在进行深度学习时，可以使用来自不同来源的数据集。使用来自不同来源的数据集可以带来以下优势和应用场景：

数据丰富性：来自不同来源的数据集可以提供更多样化和丰富的数据，从而增加模型的泛化能力和鲁棒性。
数据增强：通过使用来自不同来源的数据集，可以进行数据增强操作，如旋转、翻转、缩放等，从而扩大数据集规模，提高模型的性能。
跨领域迁移学习：使用来自不同领域的数据集可以进行跨领域迁移学习，将已经训练好的模型应用于新的领域，从而减少训练时间和数据需求。
异常检测：通过使用来自不同来源的数据集，可以进行异常检测，识别和排除异常样本，提高模型的准确性和鲁棒性。
多任务学习：使用来自不同来源的数据集可以进行多任务学习，同时训练多个相关任务的模型，从而提高模型的综合性能。

对于使用来自不同来源的数据集进行深度学习，腾讯云提供了一系列相关产品和服务：

腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）：提供了丰富的机器学习算法和模型训练工具，支持使用不同来源的数据集进行深度学习。
腾讯云数据集市（https://cloud.tencent.com/product/dataset）：提供了各种类型的数据集，包括图像、文本、语音等，可以选择合适的数据集进行深度学习。
腾讯云深度学习容器镜像（https://cloud.tencent.com/product/tensorflow）：提供了预装了深度学习框架和工具的容器镜像，方便进行深度学习任务。

总结：在进行深度学习时，可以使用来自不同来源的数据集，这样可以提高模型的泛化能力、鲁棒性和性能。腾讯云提供了相关产品和服务，方便用户进行深度学习任务。

用训练发生器改进图像分类模型

image-classification、gan、probability-calibration

是否有可能用生成器(有条件地训练类)改进图像分类模型。(因此，这是相同的源/目标分布和相同的源/目标任务，而不是域适应) 注意：“改进”可以是在鲁棒性、校准、或彻底的精确/召回改进、OOD性能方面。例如，我在数据A上训练图像分类模型，然后在数据A上有条件地训练GAN以生成具有类提示的图像。然后利用GAN生成额外的样本来训练我的图像分类模型。注意:这实际上不是我想要改进的图像分类器，而是检查使用生成器来提高鉴别器性能的概念。

浏览 0提问于2023-05-14得票数 0

1回答

NLP中迁移学习的资源与实用技巧

deep-learning、nlp、word-embeddings、convolutional-neural-network、transfer-learning

我有一些标签数据来训练和测试一个DNN。本文的主要目的是训练一种能够对文本进行二值分类的模型。为此，我有大约3000个标签数据和60000个未标记数据可供我使用。我的数据类型与指示有关(比如-打开门标签-1，给我一杯水标签-1，给我钱标签-0等等)。在这种情况下，我听说从其他模型转移知识将对我有很大帮助。有人能给我一些有用的资源来转移学习在NLP领域吗？我已经做了一些实验了。我使用GLoVE作为预先训练过的嵌入。然后用我的标签数据测试它。但准确率在70%左右。还尝试了使用我自己的数据(63k)构建嵌入，然后对模型进行训练。试验数据的准确率为75%。我的模型架构如下- 📷 Q1:我有一个简单的

浏览 0提问于2018-08-20得票数 2

1回答

为什么我们要对语言模型进行微调，而不只是将数据包含在培训前的数据集中？

machine-learning、nlp

关于语言模型的预培训和微调过程的一个问题:为什么使用一个小数据集微调而不是将微调数据集包含在培训前数据集中更好呢？还是我误解了，通常微调数据集已经包含在训练前的数据集中，而我们只改变学习参数以更好地适应数据属性？任何论文参考都是非常欢迎的！谢谢。

浏览 0提问于2021-07-29得票数 0

回答已采纳

2回答

标记数据异常检测中的交叉验证

scikit-learn、cross-validation、anomaly-detection、autoencoder、isolation-forest

我正在从事一个项目，在那里我训练异常检测算法，隔离森林和自动编码器。我的数据是标记的，所以我有基本的真实性，但问题的性质需要无监督/半监督异常检测方法，而不是简单的分类。因此，我将只使用标签进行验证。既然我不会用标签来训练模型，而不像在有监督的学习中使用X_train、X_test、y_train和y_test，那么在这里进行模型验证的正确方法是什么？如果这是监督学习，我会把数据分成3部分:训练，简历和测试，做K折叠简历。但现在我觉得我可以简单地把我的数据分成2:训练和测试，简单地拟合所有的火车数据，预测和调整模型根据。最后，对测试数据进行预测。所以我的问题是，我应该在这个模型中加入某种

浏览 0提问于2020-07-16得票数 1

3回答

数据增强是否改变了列车/测试集的分布？

machine-learning、deep-learning、training、data-augmentation

我在想一个我刚刚想到的简单的问题。许多人利用图像数据上的数据增强来训练深度CNN。当我从Andrew的DL课程中学习时，他提到要训练一个更好的模型，通常需要您的训练/测试数据来自相同的分布。比如，如果你用大量的汽车和人类图像训练你的CNN，用它来分类一只猫或一只狗(通常)并不是个好主意。在增强之后，我的训练数据得到了一定的提升，那么我还能不能说我的训练/测试数据集来自相同的分布呢？我违反了他说的话吗？为什么？或者为什么不呢？

浏览 0提问于2017-11-02得票数 1

7回答

深度学习的主要框架有哪些可以通过腾讯云服务器学习？

云服务器、深度学习

深度学习的大部分知识都很深奥，作为一个深度学习领域的小白，想要了解一下深度学习分为哪些大致的框架，分别的内容又有哪些？哪些框架可以通过腾讯云服务器来开始学习呢？

浏览 2690提问于2018-09-07

1回答

随机图像作物在卷积网络上的好处是什么？

deep-learning、pytorch

我正在学习移动式学习，用pytorch教程。我发现author教程作者使用了不同的方法来训练集和验证集。 data_transforms = { 'train': transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0

浏览 0提问于2018-04-10得票数 1

回答已采纳

1回答

小批处理梯度下降能优于批处理梯度下降吗？

machine-learning、python、deep-learning、gradient-descent、gradient

当我阅读和复习吴家富深造课程的第二节课时，我偶然发现一句话：随着一个良好的小批大小，它通常优于梯度下降或随机梯度下降(特别是当训练集是大的)。但这怎么可能？小批处理梯度下降真的能给我们一组更好的权重和偏差，即使它没有根据整个数据集更新它们吗？我只能认为，这可能不是过分适合，这样，它可以提供更好的结果。

浏览 0提问于2020-07-30得票数 1

1回答

为什么我的验证损失比训练损失要小？

tensorflow、keras、deep-learning、autoencoder、loss

我一直得到一个更高的训练损失比验证损失，同时训练一个深卷积自动编码器。注意，在我的列车数据生成器中，我正在使用Keras zoom_range进行数据增强。如果我提高变焦范围，如0.8-4，0.8,6等，训练和验证损失之间的差距继续扩大。是因为训练损失是根据增强的数据计算的吗？假设更多的增强使得模型更难预测(重建)输入图像。或者我的训练方法出了什么问题？我也附加了训练命令的代码片段。 checkpoint = ModelCheckpoint(model_save_dir, monitor='val_loss', save_best_only=False, mode=

浏览 2提问于2022-06-29得票数 1

1回答

如何度量图像分类模型的鲁棒性？

image-classification

对动物分类数据进行训练的图像分类模型，如iNaturalist或iWildcam，有时会与背景产生虚假的相关性。如何衡量模型性能的限制只由这种虚假的相关性，而不是其他可信的(非虚假的)原因(即，2只动物看起来非常相似) ?！

浏览 0提问于2023-03-05得票数 0

2回答

基于DNN的异常数字分类

machine-learning、neural-network、image-recognition、deep-learning、conv-neural-network

我已经考虑这个问题有一段时间了，我还没有找到一个我很满意的答案。假设我们在MNIST数字数据库上训练了一个DNN，它可以高精度地对样本外的观察结果进行分类。然后，我们向DNN显示不寻常的图像4和3，如下所示。DNN会正确地对其进行分类吗？我不这么认为，因为隐藏层根本不会有图像中具有不寻常数字(各种卷曲)的特征，所以它可能会错误地对它们进行分类。我还认为，在这样一个只有不寻常数字的数据库上进行训练将是困难的。隐藏层将如何存储(非常相似的)特征？直觉上，它将在这个db上过度拟合，因为隐藏的神经元将学习由于卷发之间的相似性而产生的所有不必要的特征。我认为训练这种DNN的方法是以某种方式学习组成

浏览 0提问于2015-12-01得票数 1

1回答

重置k-折叠交叉验证中的权重

python、deep-learning、k-fold

在k-折叠交叉验证中，为什么我们需要在每次折叠后重置权重，我们使用thia函数。 def reset_weights(m)：如果isinstance(m，nn.Conv2d)或isinstance(m，nn.Linear)：m.reset_parameters()，那么我们重新设置模型的权重，以便每个交叉验证折叠从一些随机的初始状态开始，而不是从以前的折叠中学习。为什么我那么重要？我认为如果我们不这样做，那么模型最好从所有的折叠中学习，并从所有的折叠中更新其参数，而不是每个人都单独更新。

浏览 10提问于2022-03-25得票数 1

2回答

学习曲线-为什么训练的准确性开始这么高，然后突然下降？

python、machine-learning、scikit-learn、classification、logistic-regression

我实现了一个模型，其中我使用Logistic回归作为分类器，我想绘制学习曲线为训练和测试集，以决定下一步做什么，以改进我的模型。为了给你一些信息，为了绘制学习曲线，我定义了一个函数，它采用一个模型，一个预分裂的数据集(训练/测试X和Y数组，NB:使用train_test_split函数)，一个评分函数作为输入，在n个指数间隔的子集上迭代数据集的训练，并返回学习曲线。我的结果如下图所示我想知道，为什么训练的准确性开始这么高，然后突然下降，然后又开始上升，随着训练设置的规模增加？反过来说，为了测试的准确性。我认为非常好的准确性和下降是由于一些噪音，因为小数据集在开始，然后当数据集变得更

浏览 5提问于2016-05-02得票数 3

回答已采纳

3回答

结合两种不同模型(sBERT和mBERT)的句子嵌入

nlp、bert、huggingface

我正在研究一个帮助学生的聊天机器人。因此，我想利用在数学上表现更好的bert模型，这导致了我的数学-bert，但是上面的论文说它仅仅是在数学语料库上训练的，这意味着它在一般句子(例如在图像中)上不会有很好的表现，那么有什么方法将句子-bert和数学-bert结合起来吗？ undefined 或者，唯一的方法是从零开始训练伯特模型，使用语料库进行句子-伯特和数学-伯特。

浏览 0提问于2022-12-25得票数 0

回答已采纳

9回答

腾讯云时序数据库 CTSDB VS 传统时序数据库？

数据库、sql

很多公司已经开始持续收集、分析数据，用于异常处理、趋势预测、精准营销、风险控制等场景，希望利用数据的潜在价值，提高公司盈利能力和竞争力。那么腾讯云时序数据库 CTSDB VS 传统时序数据库，腾讯云时序数据库有没有什么进步？

浏览 1704提问于2018-09-26

2回答

基于微调MLM的RoBERTa不提高性能

transformer、bert、attention-mechanism、language-model、huggingface

我们有很多特定于领域的数据(200M+数据点，每个文档有大约100到500字)，我们希望有一个特定于域的LM。我们采取了一些样本数据点(2M+) &精调罗伯塔基地(使用高频变压器)，使用蒙版语言建模(MLM)任务。到目前为止, 我们做了4-5个周期(512序列长度，批大小=48)。使用余弦学习速率调度器(2-3周期/历元) 我们用发电机掩蔽(蒙面15%的令牌) 由于RoBERTa模型是针对特定领域的数据进行细化的，因此我们确实期望该模型的性能要好于对一般文本(wiki数据、书籍等)进行培训的预培训-RoBERTa。我们确实执行了一些任务，如命名实体识别(NER)、文本分类和嵌入

浏览 0提问于2023-04-18得票数 1

6回答

我应该选择“平衡”数据集还是“代表性”数据集？

machine-learning、dataset、class-imbalance

我的“机器学习”任务是将良好的Internet流量和恶意流量分离开来。在现实世界中，大多数(比如90%或更多)的互联网流量是良性的。因此，我觉得我也应该选择一个类似的数据设置来训练我的模型。但我遇到了一、两篇研究论文(在我的工作领域)，它们使用“类平衡”数据方法来训练模型，这意味着同样数量的良性和恶意通信量。一般来说，如果我正在构建机器学习模型，我应该选择一个代表现实世界问题的数据集，还是一个平衡的数据集更适合于构建模型(因为某些分类器的行为不符合类的不平衡，或者由于我不知道的其他原因)？谁能更清楚地了解这两种选择的利弊，以及如何决定选择哪一种呢？

浏览 0提问于2014-07-22得票数 59

回答已采纳

1回答

基于自适应学习的图像识别模型

machine-learning、image-recognition

问题陈述:能够准确地检测特定人的脸，并用包含的人的名字标记这些图像。要做到这一点，我们有大约40个图像人，和10个班级。我一直在使用Facenet模型( https://github.com/davidsandberg/facenet )，经过训练，我得到了很好的效果，每班40张图像。我用了100张图片来测试。目前面临的障碍是:假设在测试过程中，对于A类人的图像，它的准确率达到40%，我想将该图像添加到模型训练数据集中，并自适应地对模型进行训练，从而提高该人的准确率。这意味着将图像从测试集传输到培训集。是否有可能在我目前的解决方案中增加适应性学习？不确定我是否把我的问题说清楚了，如果需

浏览 0提问于2019-09-10得票数 0

1回答

改进神经网络性能

deep-learning、neural-network、cnn

我有三个关于神经网络的问题为了获得最佳的模型性能，最好是只对高分辨率图像进行训练，还是不管训练数据是否包括高分辨率和低分辨率图像。让我们说，我想要一个模型，可以检测猫和有10个猫，我感兴趣，再次，在最好的表现。如果我每只猫有10节课，或者只为一节课(就像猫一样)，还是不重要？当360张图像被验证时，为什么在2D图像上训练的模型不能很好地工作呢？

浏览 0提问于2021-10-19得票数 0

回答已采纳

1回答

针对不同语言的特定领域微调BERT？

python-3.x、deep-learning、nlp、bert-language-model

我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？我曾经考虑过使用NMT，但我不认为它是可行的，也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。

浏览 4提问于2021-01-28得票数 2