我希望在模型中包含一个预先训练好的XLNet (或者可能是另一个最先进的转换器)来对其进行微调。 但是，当我将它包含在keras层中时，它就不起作用了。bug是 AttributeError: 'NoneType' object has no attribute 'shape' 在一线上 x = xlnetPretrainedModel(x) 因此，当模型用于输入层时如果在numpy数组上<em
浏览 52提问于2020-12-22得票数 2
我正在尝试将Rasa配置为使用在HuggingFace预先训练好的模型。这是我的设置pipeline: - name: LanguageModelFeaturizer你知道如何将这个huggingface模型集成到Rasa中吗？
我们可以在Rasa配置中包含多个HuggingFace管道吗？-
浏览 1提问于2021-04-08得票数 0
在将BERT作为子模块添加之后，无法使用它，配置文件中缺少版本信息。这些是主要步骤：from s
浏览 2提问于2020-11-19得票数 3
回答已采纳
我想使用HuggingFace实现/库来训练一个伯特转换器模型。在培训期间，HuggingFace对每个时代的培训数据进行洗牌，但我不想对数据进行洗牌。例如，如果我有5个训练数据，批处理大小= 2，那么我希望训练数据以1、2、2、3、3、4和4、5的形式显示。我找不到任何资源来显示如何禁用默认的洗牌。
浏览 14提问于2022-11-12得票数 1
我正在尝试为句子分类任务训练一个模型。输入是一个句子(整数的向量)，输出是一个标签(0或1)。我在各处看到过一些关于使用Bert和GPT2执行文本分类任务的文章。然而，我不确定我应该从哪一个开始。在自然语言处理中的这些最新模型中，您会使用原始变压器模型、Bert、GPT2、XLNet中的哪些模型作为开始？为什么？我更愿意在Ten
浏览 5提问于2019-09-09得票数 8
1回答
我想从头开始训练XLNET语言模型。首先，我训练了一个标记器，如下所示：tokenizer =：vocab.jsonfrom transformers import XLNetConfig, XLNetModel现在，我想在transformers中</
浏览 377提问于2021-02-20得票数 1
回答已采纳
1回答
我想使用预训练任务对我的数据进行facebook/mbart-large-cc25调优，特别是掩蔽语言建模(MLM)。 我如何在HuggingFace中做到这一点？ 编辑:为了清晰起见，重写了问题
浏览 147提问于2021-09-23得票数 1
我有一个很小的数据集-大约1000个句子对。我想知道是否有可能微调伯特，埃尔莫或XLnet的Seq2seq编解码机翻译。美国手语:他卖的食物
浏览 0提问于2020-02-24得票数 2
1回答
我是来问你们是否有可能使用现有的受过训练的拥抱式变形金刚模型。我第一个天真的尝试是通过spacy.load('bert-base-uncased')加载它，它没有工作，因为spacy需要一个特定的结构，这是可以理解的。现在，我试图弄清楚如何使用spacy-transformers库加载模型，创建spacy结构，并将其作为一个正常的空间感知模型使用。
我不知道这是否可能，因为我找不
浏览 2提问于2021-10-27得票数 8
回答已采纳
3回答
预先训练的变压器(GPT2，Bert，XLNET)由于其传输学习能力而广受欢迎和有用。
作为提醒:迁移学习的目的是传递从一个领域/任务中获得的知识，并使用该转移/使用该知识来解决一些相关任务。这是通过对大量标签数据(我们已经拥有并且可能很容易获得)进行模型培训来完成的，然后删除最后几层，用与任务相关的数据集对新的相关任务进行微调。我拿了谷歌最近发布的</
浏览 0提问于2020-08-12得票数 4
2回答
我用计算了两个相同句子的向量。但是该模型对两个相同的句子产生不同的向量嵌入，因此余弦相似度不是1，欧氏距离也不是0。在伯特的情况下，它的作品很好。'he is anger'],pooling='reduce_mean')模型(XLNet)是说这两句话
浏览 8提问于2021-01-08得票数 5
2回答
我正在使用SentenceTransformers库(这里：)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。这里，已经回答了如何保存模型。然而，我被困在从本地保存的路径加载保存的模型。当我尝试使用上面提到的技术保存模型时，输出文件如下：
('/bert-base
浏览 197提问于2020-12-23得票数 5
1回答
我想用句子做一些有监督的二进制分类任务，并且一直在使用spaCy，因为它易于使用。我使用spaCy将文本转换为向量，然后将向量提供给机器学习模型(例如XGBoost)来执行分类。在spaCy中，很容易加载 (例如BERT / Roberta / XLNet)来将单词/句子转换为nlp对象。然而，直接调用对象的向量将到令牌向量的平均值。这里有两个问题：
1)我们能做得比简单地获得标记向量的
浏览 17提问于2020-05-06得票数 0
给出一个随机的单词串，我想给这个短语指定一个“好”分数，其中“好”是语法和上下文相关性的一些指示。我曾考虑过使用经过训练的标记来为短语中的每个单词分配词性部分，然后分析语料库中出现的POS模式。这可能会给我一个语法上的“善良”的暗示。然而，由于标签本身是在我用于验证的同一个语料库上训练的，我无法想象结果会是可靠的。这种方法也没有考虑到词语
浏览 2提问于2020-09-17得票数 1
回答已采纳
1回答
我使用亚马逊SageMaker来训练HuggingFace模型。在提供给估计器的培训脚本的末尾，我将模型保存到正确的路径(SM_MODEL_DIR)中： parser = argparse.ArgumentParsertrainer.model.save_pretrained(args.model_dir)
在对模型进行了训练<
浏览 3提问于2021-10-01得票数 1
由于某些原因，我不得不脱机使用TIMM包。但我发现，如果我使用create_model()，，例如：我发现这个函数想要通过下面的URL获取经过预先训练的模型
浏览 54提问于2022-04-16得票数 2
1回答
我希望对一些文本数据上的GPT-2实现进行微调。然后，我想使用这个模型来完成一个文本提示。使用Max Woolf的gpt-2-simple实现，我可以很容易地完成第一部分。OpenAI的Neil Shepherd's fork允许在新数据上训练GPT-2并完成文本。 然而，我的语料库太小了，不能训练，也不能得到胡言乱语的回复。有没有办法把这两个函数结合起来呢？理想情况下，我希望能够通过python接口(而不
浏览 31提问于2020-01-28得票数 2
回答已采纳
1回答
我在一个遗留的公司环境中工作，在NLP项目中我只有16个核心64 to的VM可用。我有一个多标签自然语言处理文本分类问题，我真的想利用一个深度表示学习模型，如BERT，RoBERTa，ALBERT等。我有大约200,000个需要标记的文档，我有大约2,000个注释集，用作训练/测试/微调的基础事实。我还有更多与领域相关的文档可用于预培训。我很可能需要从头开始进行预训练，因为这是在临床领域。我也对预先训练</
浏览 45提问于2020-05-15得票数 1
回答已采纳
2回答
我对Google平台非常陌生，我正在尝试与TPU一起训练一个模型。我遵循这个与Google建立TPU。下面的所有代码都遵循本教程。输出：提供我的BUCKET名称和OUPUT DIRECTORY名称：print('***** Model output directory: {}
浏览 0提问于2020-08-08得票数 1
回答已采纳
我正在从零开始通过训练语言模型来考虑微调模型。我有几个与此有关的基本问题：text=['I am huggingface fan', 'I love huggingface', ....]
data_collator = DataCollatorForLanguageModelingtrainin
浏览 14提问于2022-07-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
