RETURNN Librispeech任务:为LM和编解码器模型重用预训练模型的参数
RETURNN Librispeech任务是一个语音识别任务，旨在利用预训练模型的参数来重用语言模型（LM）和编解码器模型。该任务的目标是通过使用预训练模型的参数来提高语音识别的准确性和效率。
语言模型（LM）是一种用于预测文本序列的概率模型，它可以用于语音识别任务中的后处理和解码过程。编解码器模型是一种用于将输入语音信号转换为文本序列的模型，它可以通过学习语音和文本之间的对应关系来实现语音识别。
RETURNN Librispeech任务的优势在于可以利用预训练模型的参数来加速模型训练过程，并提高语音识别的准确性。通过重用预训练模型的参数，可以避免从头开始训练模型，节省时间和计算资源。
该任务的应用场景包括语音识别系统、语音助手、智能客服等需要将语音信号转换为文本的应用领域。
腾讯云提供了一系列与语音识别相关的产品，其中包括：
- 语音识别（Automatic Speech Recognition，ASR）：提供了基于深度学习的语音识别服务，支持多种语言和领域的语音识别需求。详情请参考：腾讯云语音识别
- 语音合成（Text-to-Speech，TTS）：提供了将文本转换为自然语音的服务，支持多种语言和声音风格。详情请参考：腾讯云语音合成
- 语音唤醒（Wake-up Word）：提供了基于声音模式识别的语音唤醒服务，可以实现通过特定的唤醒词来激活语音助手等应用。详情请参考：腾讯云语音唤醒
以上是腾讯云提供的与语音识别相关的产品，可以满足不同场景下的语音处理需求。
相关·内容
我希望用returnn来训练一个新的lm来获得更多的数据。但是我不知道tain和dev的确切形式。
/work/asr3/irie/data/librispeech/lm_bpe/librispeech-lm-norm.bpe.txt.gz
其次，我想知道为什么train_num_seqs等于40418260，而librispeech训练数据集只有281241语句。等待你的回复
浏览 0提问于2019-07-19得票数 0
1回答
假想
如果我的意图是训练一个医学图像数据集，而我选择了一个coco预培训模型。
我的怀疑
1既然我选择了医学图像，就没有必要在上训练它，对吗？如果是这样，那么做同样的事情有什么可能的解决方案呢？
2在预先训练的模型上增加更多的层会把整个模型搞砸吗？有10多个课程和10000个训练数据集？
3没有从头开始训练，有什么可能的解决方案，比如微调模型？
PS -让我们假设这个场景是基于为业务目的部署模型的。
谢谢-
浏览 3提问于2019-11-10得票数 2
1回答
我想知道，当人们说预训练的bert模型时，是否只训练了最终的分类神经网络 或 通过反向传播和分类神经网络，transformer内部是否有任何更新
浏览 121提问于2021-02-04得票数 1
回答已采纳
1回答
我正在尝试使用内部语料库更新预训练的BERT模型。我看过Huggingface的transformer文档，你会发现我有点困惑，below.My的目标是使用余弦距离计算句子之间的简单相似度，但我需要为我的特定用例更新预先训练的模型。
如果你看一下下面的代码，这正是Huggingface文档中的代码。我试图“重新训练”或更新模型，我假设special_token_1和special_token_2表示来自我的“内部”数据或语料库的“新句子”。这是正确的吗？总而言之，我喜欢已经预训练的BERT模型，但我想使用另一个内部数据集来更新或重新训练它。任何线索都将不胜感激。
import tensorfl
浏览 53提问于2019-10-30得票数 9
2回答
我正在尝试使用我自己的数据集使用HuggingFace库从零开始训练伯特模型。我想训练模型的方式，它有确切的结构，原来的伯特模型。
在最初的文章中，它指出：“BERT被训练完成两项任务:预测随机蒙面标记(MLM)和预测两个句子是否相互跟随(NSP)。SCIBERT采用与BERT相同的体系结构，但却接受了科学文本方面的预先培训。“
我正试着理解如何像上面这样在两个任务上训练模型。目前，我将模型初始化如下：
from transformers import BertForMaskedLM
model = BertForMaskedLM(config=config)
然而，这将只是为传销，而不是NS
浏览 1提问于2021-01-09得票数 9
回答已采纳
我致力于自然语言处理问题，并尝试用词嵌入的方法进行文本分类。我正在用fasttext的train_supervised训练我的模型，但是对于这个函数，有没有什么理想的或最好的参数值，你可以告诉我，我也在使用Kfold和一些值，我如何在这个问题中找到最佳的K-折叠数？ 我的解决方案是使用快速文本的自动调谐功能来为模型找到最佳的参数值来训练，但是有什么可能的建议给我吗？下图显示了我在模型中的最佳参数。最后，我使用fasttext的预训练单词向量模型进行训练。 ?
浏览 87提问于2021-11-02得票数 0
回答已采纳
1回答
在bert上训练新数据集
、、、、
我是新来伯特的 我有一个amazon评论数据集，我想要根据评论预测星级 我知道我可以使用预先训练好的bert模型，如here所示 但我想在我自己的数据集上训练bert模型。这就是here正在做的事情吗？我是否可以在任何数据集的预训练模型上应用这种“微调”，以获得更准确的结果，或者我是否必须做一些其他事情来从头开始训练模型 如果我确实想从头开始训练一个模型，我应该从哪里开始呢？
浏览 61提问于2021-10-03得票数 0
1回答
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。
现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？
我曾经考虑过使用NMT，但我不认为它是可行的，也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
我正在读BERT模型论文。在预训练BERT模型的掩蔽语言模型任务中，本文表示模型将随机选择15%的令牌。在选择的标记( Ti )中，80%将被替换为掩码标记，10%的Ti保持不变，10%的Ti将替换为另一个单词。我认为模型只需要替换为掩码或其他单词就足够了。为什么模型必须随机选择一个单词并保持不变？预训练过程是只预测掩码令牌，还是预测15%的整个随机令牌？
浏览 151提问于2020-09-23得票数 2
回答已采纳
1回答
在这个问题中，我从零开始找到了一个训练模型的答案：
有一个答案是这样使用培训师和TrainingArguments的：
from transformers import Trainer, TrainingArguments
training_args = TrainingArguments(
output_dir= "/path/to/output/dir/for/training/arguments"
overwrite_output_dir=True,
num_train_epochs=2,
per_gpu_train_batch_size=
浏览 3提问于2021-09-10得票数 1
假设我在R中有一个线性模型，使用模型对象，我如何才能看到用于训练该模型的观察值的数量？ 例如 library(ISLR)
lm.fit <- lm(mpg ~ acceleration + weight + horsepower + displacement, data = Auto)
lm.fit 如何查看用于训练模型lm.fit的观察值数量？ 在本例中，我显然可以访问Auto数据框，并可以用nrow(Auto)查看它的行。然而，一旦你使用不同的训练集和测试集，它就变得不那么明显了。我希望确保仅使用模型对象就可以使用预期的观察值数量来训练模型。
浏览 17提问于2020-05-03得票数 1
回答已采纳
1回答
序列推理的深度学习
、、、、
我想使用深度学习技术来执行比隐马尔可夫模型(这是一个浅层模型)更好的推理任务。我想知道什么是最先进的深度学习模式来取代隐马尔可夫模型(HMM)？这套设备是半监督的。训练数据X(t)，Y(t)是一个时间序列，具有显著的时间相关性。此外，还有大量的未标记数据，即简单X(t)和没有Y(t)。在阅读了许多论文后，我缩小了以下模型->有条件限制的Boltzmann机器(Ilya论文)，并使用深度信念网络进行无监督的预训练(或使用变分自动编码器进行预训练)。我对这个领域非常陌生，我想知道这些技术是否已经过时了。
浏览 2提问于2017-05-09得票数 1
回答已采纳
我有一套来自服装领域的评论，大约100000篇评论(200万字)。我想训练word2vec用它做一些很酷的NLP员工。
然而，规模不足以创建足够的word2vec模型，它需要数十亿字。
因此，我们的想法是使用公共语料库(如维基百科)，甚至使用一些预先训练过的模型(例如，gensim酷框架)并添加我的领域特定文本。我假设这个模型会注意到未见过的公开单词，并且可以纠正普通单词的向量。
说得通吗？这两百万字会有什么效果吗？
浏览 0提问于2018-08-21得票数 5
1回答
在最初的伯特文件第3节(arXiv:1810.04805)中提到：
“在训练前，该模型接受不同训练前任务中未标注数据的训练.”
我不知道我是否正确地理解了“不同”这个词的含义。不同的意思是不同的数据集还是不同的预测任务？
例如，如果我们用一个大数据集对伯特进行“句子分类-任务”的预培训。那么，我应该在一个更小的、特定于特定任务的数据集上对同一个“句子分类-任务”任务重新进行微调吗?还是我可以将经过训练的模型用于其他一些任务，如“句子标记”？
浏览 0提问于2020-10-30得票数 1
回答已采纳
我在txt文件中有一个大小为(20000000,500)的2D数组。由于它太大了，无法放入我的计算机，我将不得不预取它并使用pytorch训练我的模型。我想我需要使用带有'prefetch_factor‘参数的dataLoader。有人知道我会怎么做吗？谢谢。
浏览 160提问于2021-06-20得票数 1
4回答
我在一个时间序列上使用lm，它实际上工作得很好，而且超级快。
假设我的模型是：
> formula <- y ~ x
我在训练集上训练这个：
> train <- data.frame( x = seq(1,3), y = c(2,1,4) )
> model <- lm( formula, train )
..。我可以对新数据进行预测：
> test <- data.frame( x = seq(4,6) )
> test$y <- predict( model, newdata = test )
> test
x
浏览 2提问于2012-10-27得票数 24
我有一个由模块组合组成的深度神经网络，如编码器、解码器等。在训练之前，我从预先训练的模型中加载其参数的一部分，仅用于模块的子集。例如，我可以加载一个预先训练好的编码器。然后，我想冻结预训练模块的参数，这样它们就不会与其他模块一起训练。在Pytorch中：
for param in submodel.parameters()
param.requires_grad = False
现在，我应该在学习期间继续对这些冻结的模块应用dropout，还是应该停用它(参见下面的示例)？为什么？
def MyModel(nn.Module):
...
def forward(x):
浏览 7提问于2020-07-29得票数 1
1回答
NLP中迁移学习的资源与实用技巧
、、、、
我有一些标签数据来训练和测试一个DNN。本文的主要目的是训练一种能够对文本进行二值分类的模型。为此，我有大约3000个标签数据和60000个未标记数据可供我使用。我的数据类型与指示有关(比如-打开门标签-1，给我一杯水标签-1，给我钱标签-0等等)。在这种情况下，我听说从其他模型转移知识将对我有很大帮助。有人能给我一些有用的资源来转移学习在NLP领域吗？
我已经做了一些实验了。我使用GLoVE作为预先训练过的嵌入。然后用我的标签数据测试它。但准确率在70%左右。还尝试了使用我自己的数据(63k)构建嵌入，然后对模型进行训练。试验数据的准确率为75%。我的模型架构如下-
📷
Q1:我有一个简单的
浏览 0提问于2018-08-20得票数 2
根据tensorflow的正式文件：
关于在` `BatchNormalization层上设置layer.trainable = False的：
设置layer.trainable = False的意思是冻结该层，即它的内部状态在训练期间不会改变:它的可训练权重不会在fit()或train_on_batch()期间被更新，它的状态更新也不会运行。
通常，这并不一定意味着该层以推理模式运行(通常由调用层时可以传递的训练参数控制)。“冻结状态”和“推理模式”是两个独立的概念。
但是，对于BatchNormalization层，在层上设置trainable = False意味着层随后将以推理模式运行
浏览 12提问于2020-07-04得票数 3
回答已采纳
2回答
meta learning和transfer learning有什么区别？
我读过两篇关于和的文章。
元学习是机器学习理论的一部分，其中一些算法被应用于关于案例的元数据上，以改进机器学习过程。元数据包括所使用算法的属性、学习任务本身等，利用元数据可以更好地决策选择的学习算法，从而更有效地解决问题。
和
迁移学习的目的是改进学习新任务的过程，利用解决以前类似问题所获得的经验。在实践中，大多数情况下，机器学习模型都是为了完成单个任务而设计的。然而，作为人类，我们利用过去的经验，不仅在未来重复同样的任务，而且学习全新的任务。也就是说，如果我们试图解决的新问题与我们过去的一些经验相似，那对我
浏览 7提问于2020-02-17得票数 1
回答已采纳
我用HuggingFace Trainer训练罗伯塔戴面具的LM。正如其他讨论线程所建议的那样，我正在为compute_metrics传递以下函数：
metric = load_metric("accuracy")
def compute_metrics(eval_pred):
logits, labels = eval_pred
predictions = np.argmax(logits, axis=-1)
return metric.compute(predictions=predictions, references=labels)
我使用lo
浏览 7提问于2022-01-27得票数 2
EfficientNet模型被训练在3500张图像上，进行4级分类: A，B，C，而不是- with的精度达到0.985 -是别人而不是我。我对ML很陌生。所以我们有了这个模型，它运行得很好。
随着越来越多的真实世界的图像来自用户，我们看到更多的错误。是否可以通过增加更多的培训实例来提高性能呢？
收集并手动排序了35幅A类图像和425幅“两者都没有”的图像。对于这么小的数据集，它有什么意义吗？
我已经将图像放入一个文件夹中，其中有4个子文件夹，每个类一个。两个是空的，两个是有图像的。使用Keras ImageDataGenerator flow_from_directory()方法，验证/训练
浏览 0提问于2020-02-24得票数 0
1回答
如何微调伯特自己的任务？
、、、、
我想用我自己语言的数据对伯特进行预培训，因为BERT的多语言(包括我的语言)模型并不成功。由于整个训练成本很高，所以我决定对其进行微调，包括两个任务:蒙面语言模型和下一个句子预测。以前有针对不同任务(NER、情感分析等)的实现，但我找不到对它自己的任务进行任何微调。有什么我看不到的实现吗？如果没有，我应该从哪里开始呢？我需要初步的帮助。
浏览 1提问于2019-05-03得票数 0
为什么当我为相同的选项和相同的数据库训练一个网络模型时，我得到了不同的训练模型，在结果上，我有不同的结果分类。
1)我有一个循环来训练n次神经网络模型。
2)我设置了相同的培训选项
3)我有相同的数据库来训练和测试
4)我使用相同的预训练模型(例如google net)。
最后，每次(n=1,2,3)我都有不同的分类结果。差额甚至等于10个百分点。
数据库-人脸图像(总是读取相同的数据库，而不是随机读取)模型--我使用了Matlab预先训练的模型，以及只对github的人脸图像进行预训练的模型。
opts = trainingOptions('sgdm', ...
浏览 1提问于2019-10-23得票数 0
1回答
我试着在returnn中训练一个简单的单向编码器，在删除编码器的解码器和bw层之后，使用这个配置https://github.com/rwth-i6/returnn-experiments/blob/master/2018-asr-attention/librispeech/full-setup-attention/returnn.config。
但是，如果没有预先训练，我的所有实验都不会收敛。我尝试了不同的学习率和不同的时间减少因素。正如第一篇论文中提到的(()和预训练使训练变得稳定，但在我的情况下，如果没有预训练，我的模型都不会收敛。
有人能给我建议一些可行的解决方法吗？
浏览 0提问于2018-12-03得票数 0
1回答
试图使用R caret来训练一个使用lm线性回归的模型：
代码如下：
modelLm <- train(x=X_train,y=Y_train, method="lm", na.action = na.omit, trControl=control)
但是得到错误：
Error in quantile.default(y, probs = seq(0, 1, length = cuts)) :
missing values and NaN's not allowed if 'na.rm' is FALSE
难道na.ac
浏览 0提问于2015-11-02得票数 0
回答已采纳
2回答
在小型定制语料库上预训练语言模型
、、、、
我很好奇是否可以在文本生成中使用迁移学习，并对特定类型的文本进行再培训/预训练。
例如，有一个经过预先训练的BERT模型和一个小型的医学语料库(或任何“类型”)文本，就可以生成一个能够生成医学文本的语言模型。假设你没有大量的“医学文本”，这就是为什么你必须使用转移学习。
我把它说成是一条管道，我把它描述为：
使用经过预先训练的伯特装置。
从我的新文本中获取新的标记，并将它们添加到现有的经过预先培训的语言模型中(例如，vanilla BERT)。
使用组合标记器在自定义语料库上重新训练预训练的BERT模型。
在小型定制语料库中生成类似于文本的文本。
这听起来耳熟吗？抱着脸
浏览 5提问于2020-04-24得票数 7
1回答
我想使用预先训练过的T5模型来执行在上回答问题的任务，知道我的输入是段落和问题，输出是布尔值，真假，这是问题的答案。
我见过一些人把模型调到这个特定的任务。但是，我想知道是否有办法用预先训练过的模型来获得一些输出，然后在调优后将它们与模型进行比较。
谢谢!
浏览 14提问于2022-04-13得票数 0
1回答
我正在尝试创建基于深度神经网络的分类器，用于胸部X光检查是否有肺结核。我读到迁移学习技术可以使用初始模型v3来实现。我的问题是，初始模型是通过使用imagenet(物理对象)训练创建的，对吗？如何将其用于医学图像训练？
浏览 0提问于2019-12-04得票数 1
目前，NLP最先进的技术是在特定的任务上完善一个大型的预先训练的语言模型，如BERT/GPT等。这些语言模型是对大量数据进行预训练，然后根据为回答问题、机器翻译等。而发布的流行标记数据集进行基本评估。由于这些数据集已成为评估这些模型的事实上的缺省值，这些数据集已一次又一次地在各种网站上发布。因此，这些数据集(训练和测试数据)基本上包括分类任务中的标签或Q/A任务中的答案。所以现在，当训练一种新的大型语言模型(使用一种新的体系结构)时，它会被大量的文本数据所填充，而这些数据通常也是从互联网上刮来的。难道在这些LMs的培训阶段，网络已经看到了这些精确的数据(并了解了这些数据的共现性)，而这些数据后
浏览 0提问于2022-10-21得票数 5
1回答
我正在尝试为一些特定类型的文本生成良好的句子嵌入，使用句子转换模型测试相似度，而使用kmeans进行聚类并不能给出好的结果。有什么需要改进的想法吗？我正在考虑在我的数据集上训练任何句子转换器模型(它们只是句子，但没有任何标签)。如何特别针对ny数据重新训练现有模型以生成更好的嵌入。谢谢。
浏览 5提问于2020-12-08得票数 0
1回答
我无法理解一件事，当它说“伯特的微调”时，它实际上是什么意思：
我们是不是又用新的数据重新训练了整个模型。
或者我们只是用新的数据来训练顶级的几个变压器层。
或者我们正在训练整个模型，但考虑到预先训练的权重作为初始权重。
或者变压器层上已经没有几层人工神经网络，这仅仅是为了保持变压器重量的冻结而接受训练。
试过谷歌，但我很困惑，如果有人能帮助我这一点。
提前感谢！
浏览 1提问于2021-06-01得票数 1
我试图用张量流进行图像分类。现在我正在收集和标注训练数据，但这是相当乏味，缓慢和痛苦的。目前，用我的手收集的训练数据，我的模型大约有57%的时间在一张图片中预测正确的课程，因为他们有6个不同的类别，这显然比随机猜测做得更好。
无论如何，我想知道我的分类器在57%的时间里是否正确；用这个分类器来标记新的训练数据，以便自动收集和标注训练数据，是否可行？很明显，这些训练数据不会贴上完美无缺的标签，其实只会贴上57%左右的标签，但这是否仍然有效呢？这会不会帮助模型的准确性，不会影响它，或损害它？这似乎是一个有趣的思维实验：
如果Z是标记新训练数据的分类器的精度，N是我们所拥有的训练数据示例的数目，G是
浏览 4提问于2017-05-15得票数 0
回答已采纳
我想使用一个预先训练的伯特模型，以便在文本分类任务中使用它(我使用的是Huggingface库)。然而，预先训练过的模型是针对与我不同的领域而训练的，我有一个大的未注释的数据集，可以用来微调它。如果我只使用标记的示例并在特定任务(BertForSequenceClassification)的培训中微调它，那么数据集太小，无法适应特定领域的语言模型。这样做最好的方法是什么？谢谢!
浏览 5提问于2021-04-27得票数 1
回答已采纳
我用Tensorflow-for-poets建立了一个图像分类模型。但是，我现在想在对象检测模型中使用经过训练的模型。我可以直接导入.pb文件吗?还是必须重新训练模型？
当我尝试这个错误时，我会收到这个错误。
KeyError：“名称'image_tensor:0‘指的是不存在的张量。图中不存在’image_tensor:0_image_tensor:0‘的操作。”
浏览 0提问于2019-06-17得票数 1
1回答
我使用了一个以VGGnet为基础的Keras模型进行图像分类。守则如下：
from keras import applications
from keras.callbacks import TensorBoard
from keras.preprocessing.image import ImageDataGenerator
from keras import optimizers
from keras.models import Sequential, Model
from keras.layers import Dropout, Flatten, Dense
from keras imp
浏览 0提问于2019-03-08得票数 1
回答已采纳
使用Gensim < 4.0，我们可以使用以下代码重新训练word2vec模型：
model = Word2Vec.load_word2vec_format("GoogleNews-vectors-negative300.bin", binary=True)
model.train(my_corpus, total_examples=len(my_corpus), epochs=model.epochs)
然而，我理解的是Gensim 4.0不再支持Word2Vec.load_word2vec_format。相反，我只能加载keyedVectors。
如何用我的领域专用语
浏览 0提问于2021-07-07得票数 2
在使用UNet家族(Unet++、double UNet、ResUNet.)这样的模型处理图像分割任务时，大多数任务是查找一个特定的实例，这意味着掩码是一个单一的对象，比如从超音器医学图像中检测左心。
不过，这一次，我正在处理一个单元格分割任务，其中有许多要作为掩码分割的实例。(不过有一班)
我很好奇，使用RoI生成模型(如MaskRCNN )是否比使用类似于UNet的网络更好。
此外，是否更好地使用预先训练的网络，如pytorch分割模型？(我过去经常从头开始做和训练我所有的模特。)
谢谢。
浏览 2提问于2021-12-16得票数 0
1回答
我目前正在做一个关于语义分割的小组项目，需要用自己的数据集来训练模型。问题是数据集在任何预先训练的模型中都是不可用的，因为目标是检测运动鞋的每一部分(例如。花边，外底，前贴，标志等)。我们的团队成员中没有一个从未学习过深度学习，而是学习过计算机科学。还有一个关于面具的问题-RCNN。预训练模型的权重的确切含义是什么？它是根据DL模型计算的权重吗？
浏览 0提问于2019-08-14得票数 0
回答已采纳
2回答
因此，官方的伯特英语模型是在维基百科和BookCurpos (来源)(来源)上培训的。
例如，现在，假设我想使用BERT作为电影标签推荐。有什么理由让我在电影相关数据集上从无到有地培训一个新的伯特模型？
我的模型能变得更准确吗，因为我把它训练成电影相关的文本而不是一般的文本？有这种用法的例子吗？
要明确的是，问题在于数据集的上下文(而不是大小)的重要性。
浏览 0提问于2021-02-07得票数 1
回答已采纳
我做了神经网络，它是pre-trained for 180 days of data.
It filters the fraud data of credit cards everyday and 1-days new data is comming in.
我还想在过滤之后，
我想重新训练我的人工智能模型，但我只想使用新的1天数据(因为训练神经网络真的很费时)。
我的人工智能模型是0(非欺诈)/1(欺诈)分类模型。我想用1/181改变我的神经网络.因为数据量只是一天
我该如何训练神经网络？如果我只使用了一天的数据，运行了许多时代(时间)，它将过度适合.通过早停，似乎一天的数据列车不是.足够.
浏览 0提问于2020-06-11得票数 1
回答已采纳
关于语言模型的预培训和微调过程的一个问题:为什么使用一个小数据集微调而不是将微调数据集包含在培训前数据集中更好呢？
还是我误解了，通常微调数据集已经包含在训练前的数据集中，而我们只改变学习参数以更好地适应数据属性？
任何论文参考都是非常欢迎的！谢谢。
浏览 0提问于2021-07-29得票数 0
回答已采纳
最近，我被问到如何用未标记的数据预训练深度神经网络，这意味着，我们不再用小的随机数初始化模型的权重，而是从预先训练的模型(和未标记数据)中设置初始权重。
嗯，直觉上，我有点理解，它可能有助于消失梯度问题，并缩短培训时间时，没有太多的标签数据可用。但是，我还是不知道它是怎么做的，你怎么能用没有标签的数据来训练一个神经网络呢？是SOM机器还是Boltzmann机器？
有人听说过这个吗？如果是，你能提供一些链接到资料来源或论文。我很好奇。非常感谢！
浏览 1提问于2018-11-14得票数 0
回答已采纳
我正在对一个已经在SageMaker中训练过的模型进行增量训练。我希望将数据添加到现有类中，并创建新类。第一个模型有4个类(num_classes = 4)，但我希望保留这些类并添加3个额外的类。 文档中说，在进行增量训练时，num_classes超参数必须相同。但如果是这种情况，这意味着我不能向现有模型添加类，每次我想要更改类的数量时，我都必须从头开始。这是准确的吗？或者，有没有一种方法可以更新现有的模型并更改它所训练的类的数量？ 下面是我用于增量训练作业的示例笔记本：https://github.com/awslabs/amazon-sagemaker-examples/blob/mas
浏览 44提问于2019-04-19得票数 1
我正在尝试使用tensorflow对象检测API中的Inception SSD模型。为了初始化权重，我想使用图像网络上的预训练初始V2作为特征提取器。我看到模型配置文件允许您在COCO上使用预训练的模型，但是如果我想使用Image net模型，我应该怎么做呢？
浏览 3提问于2017-07-27得票数 0
2回答
我有一些定制的数据，我想使用进一步培训的伯特模型。到目前为止，我已经尝试了以下两种方法：
BertForPreTraining model)Starting 从一个预先培训的BERT检查点开始，并继续使用蒙面语言建模(MLM) +下一句预测(NSP)头进行预培训(例如使用带有MLM目标的预先训练的BERT模型(例如，假设我们不需要NSP作为培训前部分的BertForMaskedLM模型)。
但我仍然感到困惑的是，如果使用BertForPreTraining或BertForMaskedLM真的对伯特进行持续的预培训，或者这只是两个微调模型，分别使用MLM+NSP和MLM对伯特进行微调。在使用ML
浏览 5提问于2021-07-20得票数 5
回答已采纳
1回答
所以我正在读这的论文(关于训练前的用例，然后是自我训练)，这让我思考--假设我在特定的数据集上预先训练了一个模型，然后在同一个数据集上对它进行微调。
理论上，如果我们把它训练成一个蒙面的LM和细调，它可能会导致过度适应--但我不确定。也许它不能很好地推广，但仍能提高准确度吗？
是否有人知道一些研究或其他可信的来源来解释为什么或为什么不应该这样做？
而且，如果这确实是可能的/建议的话，我们是否需要在Tensorflow、Keras或HuggingFace (基本上是任何深度学习框架或库)中采取一些额外的步骤才能这样做呢？
编辑：-一个简单的例子，我是说，如果我们有一个特定的监督任务，并对相同的功
浏览 0提问于2021-04-18得票数 2
我下载了基于bert的预训练模型。我编辑config.json (从512到256) "max_position_embeddings": 256, 然后我想使用bert模型， from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained(
MODEL_PATH,
num_labels = 2, # The number of output labels--2 for binary classifica
浏览 260提问于2020-10-23得票数 0
1回答
我正在看下面的tensorflow变压器的实现。
我不确定我的理解是否正确。在初始化变压器模型时，需要以一种无监督的方式对大量原始文本进行培训，这样它才能学习语言，然后您就可以使它适应特定的任务。
在这个例子中，我不确定训练数据是否被用来训练变压器模型本身？看起来只有一个“合适”的程序。这是正确的吗？
浏览 2提问于2022-09-03得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
即时通信 IM活动推荐
腾讯云开发者
