我目前正在使用Huggingface的Trainer类来训练Distillbert，以解决使用自定义损失函数的回归问题。由于计算/意外错误的短暂性质，我正在使用他们的检查点来恢复训练。我面临的问题是，每次我通过Trainer.train()方法中的model_path从检查点恢复训练时，我注意到该类会迭代数据加载器，直到达到检查点中保存的迭代计数(see
浏览 60提问于2020-07-23得票数 4
回答已采纳
当我试图用Py电筒闪电制作一个用于随意语言建模(给定一系列单词，预测下一个单词)的Huggingface模型时，我在训练中遇到了一个错误：
我们的训练代码出了什么问题？这是由于在Pytorch DataLoader中不正确地使用了DataLoader吗？= DataLoader(self.train_datas
浏览 3提问于2021-03-27得票数 0
1回答
我正在训练一个使用拥抱脸模型的语言模型。我使用的是RoBERTa模型，我在训练时遇到了问题。这就是我如何使用DataCollatorForLanguageModeling作为data_collator创建训练器类的方法。trainer = Trainer( args=training_args, train_datasettrai
浏览 10提问于2022-10-17得票数 0
目前，我使用Pytorch闪电使用GPU训练我的模型 distributed_backend='ddp',resume_from_checkpoint=hparams["resume_from_checkpoint"]) trainer.fit(model, train_dataloadertrainer.test(test_datal
浏览 3提问于2020-12-07得票数 1
回答已采纳
1回答
我正在从事一个ASR项目，在那里我使用来自HuggingFace (wav2vec2)的模型。我现在的目标是将培训过程转移到PyTorch，所以我尝试重新创建HuggingFace的Trainer()类提供的所有内容。不过，老实说，我甚至不知道如何在PyTorch中开始这一步。
在我的例子中，输入是表示.wav文件的原始波形的一维数组。因此，在进行训练之前，我需要确保类似大小的数组能够成批在一起。我是否需要创建一个定
浏览 2提问于2021-08-14得票数 0
回答已采纳
我想定义一个Huggingface对象，它包含一组训练参数，包括给定一组历元上的学习速率退火的线性时间表，然后一次训练一个阶段，保持训练器的状态(优化器/调度/等等)。跨越时代。我想做的事情看起来像是： data = modify_data() trainer.train_one_epoch()
如果我
浏览 1提问于2022-03-24得票数 -1
我有自定义的data_loader和data_collator，我正在使用HuggingFace应用程序接口进行变压器模型的训练。它还执行数据集的映射，其中还执行了标记化。我的data_loader脚本是一个继承了datasets.GeneratorBasedBuilder的类，所以包含了生成样本的_generate_examples函数。在开始训练时，它缓存整个数据集(仅在系统上缓存一次)，然后开始训练。我可以在本地系统上重用该缓存，但不能在任何其他
浏览 303提问于2021-10-08得票数 0
如何从DataLoader加载整个数据集？我只得到了一批数据集。这是我的代码images, labels = next(iter(dataloader))
浏览 0提问于2019-08-07得票数 5
4回答
我刚从PyTorch闪电开始，我不知道如何在训练后接收我的模型的输出。我对y_train和y_test作为某种数组(稍后步骤中的PyTorch张量或NumPy数组)的预测很感兴趣，它们使用不同的脚本绘制标签旁边的图。= Net(feature_len)
trainer = pl.Trainer(gpus=0,max_epochs=max_epochs, logger=logger, progress_bar_refresh_rate=20, callbacks=[early_stop_callback],
浏览 6提问于2021-01-20得票数 7
回答已采纳
使用HuggingFace训练变压器模型来预测目标变量(例如，电影评级)。我对Python很陌生，这可能是一个简单的问题，但我不知道如何保存经过训练的分类器模型(通过Colab)，然后重新加载，以便对新数据进行目标变量预测。作为一个例子，我用HuggingFace资源中的一个例子训练了一个预测imbd评分的模型，如下所示。我尝试过很多种方法(save_model，save_pretrained)，它们要么很难保存，要么在加载时，不知道
浏览 27提问于2021-06-12得票数 3
1回答
迭代器不起作用，并且使用0样本进行培训。it/s]目前，在训练模型之前，我试图避免将所有的样本数据放在内存上。train, dev, tes
浏览 7提问于2021-05-04得票数 0
回答已采纳
1回答
我一直在寻找HuggingFace转换器Trainer对象(特别是Seq2SeqTrainer)中的某些特性，并想知道它们是否存在，如果存在，如何实现它们，或者我是否需要编写自己的培训循环来启用它们。我希望将课程学习应用到我的培训策略中，并定期评估该模式，因此，我希望能够做到以下几点
选择模型在每个时期查看训练样本的顺序(似乎传递给train_dataset参数的数据会被一些内部代码自动调整)，即使我设法阻止了这一点compute_metrics的标准
浏览 17提问于2022-08-26得票数 0
在预编码数据集上工作的典型EncoderDecoderModelfrom transformers import EncoderDecoderModel当使用wmt14数据集时，可以使用预处理/编码数据集来训练模型：
train_data = datasets.load_dataset("wmt14", "de-en"train_datas
浏览 33提问于2022-10-20得票数 0
回答已采纳
使用Huggingface转换库，当我为掩蔽语言建模任务微调BERT语言模型时，我在最后一步遇到了一个bug。我希望微调它在一个领域的金融语料库，该模型尚未培训。然而，当我调用模型进行训练时，我得到了以下错误消息: KeyError：'input_ids‘。下面提供的是我采用的步骤和代码。任何有见地的人都很感激！首先，我从一个pandas数据帧创建了一个dataset对象，该数据帧又是从一个包含一列多行文本的csv文件中创建的： unlabelled_dataset = Dat
浏览 117提问于2020-11-19得票数 1
yTrain = dataTrain['input'], dataTrain['target']trainer= BackpropTrainer(fnn, dataTrain, verbose = True, learningrate=0.01)当我运行这段代码时
浏览 18提问于2016-04-03得票数 0
我正试着微调一个Huggingface大型未加修饰的全字掩蔽模型，并且我在训练时遇到了这样的类型错误：以下是代码：然后，我随机地掩盖了输入ids中大约15%的单词，并为数据集定义了一个类，然后在训练循环中发生错误：
class
浏览 4提问于2021-10-28得票数 0
我尝试使用huggingface transformers的文档进行标记化。tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')'input_ids': [[],[],[]],'atte
浏览 107提问于2020-08-21得票数 3
2回答
为了做到这一点，我使用huggingface transformet的BERT模型，并在其上添加一个线性层进行微调。我的问题是，训练集上的损失正在减少，这是很好的，但当涉及到在开发集上的每个时期之后进行评估时，损失随着时期的推移而增加。我正在发布我的代码，以调查它是否有问题。, batch in enumerate(train_dataloader): total_train_loss +enumera
浏览 89提问于2020-05-03得票数 0
回答已采纳
我有一个“数据集”类，其中包括熊猫数据。因此，我分成了普通数据集和验证数据集。到目前为止没问题。我将其加载到一个Numpy向量中，将其传递给张量，然后将其定向到DataLoader。Dataset类具有以下两个用于迭代的重要类： return len(self.val_df)
def __getitem__(self, indeximg, target = self.val_df[index][:-1], self.val_df[i
浏览 4提问于2020-05-18得票数 2
回答已采纳
, private Set<Pokemon> pokemons = new HashSet<>();更新实体时一切正常。然而，当我尝试检索所有训练器时，它将训练器包含在pokemon中，这是我不想要的。: "Ash Ketchum", }
浏览 0提问于2018-04-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
