我想在LibriSpeech数据集上重新使用预先训练好的LM模型和git上提供的编码器-解码器来训练RETURRN，但不知道怎么做。这个是可能的吗？我没有看到在.config文件中启用它的任何选项。
浏览 13提问于2019-06-10得票数 0
1回答
我试着在returnn中训练一个简单的单向编码器，在删除编码器的解码器和bw层之后，使用这个配置https://github.com/rwth-i6/returnn-experiments/blob/master/2018-asr-attention/librispeech/full-setup-attention/returnn.config。但是，如
浏览 0提问于2018-12-03得票数 0
我目前正在学习ASRfromScratch教程，但我正在尝试让它与流畅的语音数据集一起工作。我能够顺利地通过Tokenizer部分和语言模型部分，但我正在努力使用SpeechRecognizer部分。，因为我不知道如何使它们与我自己的数据集一起工作。，拟合模型阶段总是停留在要处理的第一个数据上，我不知道如何修复它：
(Polette) aurelienmarchal@aurelienmarchal-X556UQ:~/Stage/Polette/speech_
浏览 12提问于2021-05-13得票数 1
，即它的内部状态在训练期间不会改变:它的可训练权重不会在fit()或train_on_batch()期间被更新，它的状态更新也不会运行。通常，这并不一定意味着该层以推理模式运行(通常由调用层时可以传递的训练参数控制)。“冻结状态”和“推理模式”是两个独立的概念。但是，对于BatchNormalization层，在层上设置trainable = False意味着层随后将以推理模式运行(这意味着它将使用移动均值和
浏览 12提问于2020-07-04得票数 3
回答已采纳
我正在读BERT模型论文。在预训练BERT模型的掩蔽语言模型任务中，本文表示模型将随机选择15%的令牌。在选择的标记( Ti )中，80%将被替换为掩码标记，10%的Ti保持不变，10%的Ti将替换为另一个单词。我认为模型只需要替换为掩码或其他单词就足够了。为什么模型必须随机选择一个单词并保持不变？预训练过程是
浏览 151提问于2020-09-23得票数 2
回答已采纳
1回答
我想使用预训练任务对我的数据进行facebook/mbart-large-cc25调优，特别是掩蔽语言建模(MLM)。 我如何在HuggingFace中做到这一点？ 编辑:为了清晰起见，重写了问题
浏览 147提问于2021-09-23得票数 1
1回答
我正在使用知识蒸馏实现快速的DNN模型训练，如下图所示，以并行运行教师和学生模型。
我查看了一些流行的代码库，比如和。它们逐步执行学生和教师模型的前向操作，即不在不同的设备(GPU或CPU)上并行执行。我正在尝试加快这个训练过程，以便使用多个设备同时运行两个模型(例如，在CPU上加载一个模型，而不中断另一个模型的</em
浏览 5提问于2020-09-11得票数 0
2回答
该网络将是一个字符级别的CNN文本分类，更具体地说，作者身份识别给出的未知文本。最初的模式将针对数千名作者的数百万篇文章进行培训。在实践中，如果我想确定一个新的给定作者/类的作者身份，而不是最初的培训，我需要使用迁移学习。
网络的结构包括6个卷积层和3个完全连接层。考虑到在大多数情况下，新作者/类的数据量将是最小的，那么我应该替换和重新培训哪些层来使新类成为最有效的</e
浏览 0提问于2020-06-21得票数 1
回答已采纳
2回答
在小型定制语料库上预训练语言模型
、、、、
我很好奇是否可以在文本生成中使用迁移学习，并对特定类型的文本进行再培训/预训练。例如，有一个经过预先训练的BERT模型和一个小型的医学语料库(或任何“类型”)文本，就可以生成一个能够生成医学文本的语言模型。假设你没有大量的“医学文本”，这就是为什么你必须使用转移学习。我把它说成是一条管道，我把它描述为：
使用经过预先训练的伯特装置。
浏览 5提问于2020-04-24得票数 7
1回答
我已经为NMT建立了一个Returnn变压器模型，我想对每个解码器层的h (除了香草交叉熵损失之外)的每个编码器/解码器注意头l进行额外的损耗训练，即：
loss = CrossEntropyLoss但是，对于这两种实现，我得到了非常不同的结果:每层和每个头都有一个损失经过训练的模型，它的性能一直都更好。我试过多次训练。为了研究这一点，
浏览 5提问于2020-08-07得票数 2
回答已采纳
目前，NLP最先进的技术是在特定的任务上完善一个大型的预先训练的语言模型，如BERT/GPT等。这些语言模型是对大量数据进行预训练，然后根据为回答问题、机器翻译等。而发布的流行标记数据集进行基本评估。由于这些数据集已成为评估这些模型的事实上的缺省值，这些数据集已一次又一次地在各种网站上发布。因此，这些数据集(训
浏览 0提问于2022-10-21得票数 5
1回答
在转移学习中，通常只对网络的最后一层使用梯度下降进行再训练。然而，普通神经网络的最后一层只执行线性变换，那么为什么我们使用梯度下降而不是线性(或logistic)回归来细化最后一层呢？
浏览 0提问于2021-04-02得票数 1
在使用线性回归模型时，我将数据分成训练集和测试集。R^2 (而不是比较训练数据和原始数据)。但是，我了解到在对模型进行评分之前必须对其进行拟合，因此我不确定是对原始数据(在R2中输入的数据)还是对用于拟合模型的数据(X_train和y_train)进行评分。当我运行时：lm.score(X_train, y_train)
我得到<
浏览 0提问于2016-05-14得票数 2
1回答
我训练这个语料库是为了得到我的BERT记号器。 BertModel在不平衡数据集上表现良好吗？ BertModel在小数据集上表现良好吗？(小到不到500个数据点，我敢打赌它不是.)
浏览 2提问于2021-07-25得票数 2
回答已采纳
4回答
根据他们的论文，在第4.2节中，我了解到，在最初的BERT中，他们使用了一对文本片段，其中可能包含多个句子，任务是预测第二个片段是否是第一个句子的直接继承者。罗伯塔的作者研究了另外三种类型的预测--第一种与伯特基本相同，只使用两个片段中的两句话，你仍然可以预测第二句是否是第一句的直接继承者。当我们到达一个文档的末尾时，我们开始从下一个文档中抽取句子，并在文档之间添加一个额外的分隔符。我们消除NSP损失。
·DOC-句
浏览 0提问于2020-06-29得票数 2
我致力于自然语言处理问题，并尝试用词嵌入的方法进行文本分类。我正在用fasttext的train_supervised训练我的模型，但是对于这个函数，有没有什么理想的或最好的参数值，你可以告诉我，我也在使用Kfold和一些值，我如何在这个问题中找到最佳的K-折叠数我的解决方案是使用快速文本的自动调谐功能来为模型找到最佳的
浏览 87提问于2021-11-02得票数 0
回答已采纳
4回答
皮肤病分类的深度学习模式
、、、
我已经计划创建一个深入学习模型，分类皮肤病(大约5至7种疾病)。请给我推荐一个好的深度学习模式。我计划将这个模型集成为一个移动应用程序。是这样的。用户上传皮肤病图像，机器将对其进行相应的分类。我需要一个很好的准确性。
浏览 0提问于2021-01-05得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
