在gpt2中使用past

文章/答案/技术大牛

发布

1回答

deep-learning、nlp、huggingface-transformers

我正在尝试运行huggingface文档中的一个脚本示例： import torch model= GPT2LMHeadModel.from_pretrained('gpt2') context= torch.tensor([generated]) past

浏览 245提问于2020-12-14得票数 0

1回答

运行huggingface gpt2-xl模型时嵌入索引超出范围

python-3.x、language-model、huggingface-transformers

我从加载小型gpt2模型并通过以下代码生成文本的页面运行代码：import torchtokenizer = GPT2Tokenizer.from_pretrained("gpt2") print(i) output, past

浏览 40提问于2020-02-08得票数 0

回答已采纳

1回答

Torch张量&输入冲突：“张量对象不可调用”

python、pytorch、google-colaboratory、huggingface-transformers

from transformers import GPT2Tokenizer, GPT2LMHeadModel model = GPT2LMHeadModel.from_pretrained('gpt2') text = tokenizer.encode("Inorder to") input, past = to

浏览 49提问于2020-08-27得票数 2

回答已采纳

1回答

在GPT语言模型中，填充和注意掩码在批输入中不起作用。

python、pytorch、language-model、huggingface-transformers

("This is")])token = torch.argmax(output[..., -1, :]) 使用注意掩膜1,1,1，这意味着即使在填充零，您得到相同的

浏览 1提问于2020-03-07得票数 2

1回答

我有一组特殊的令牌，比如["watch", "run", "think", "apple", "light"] 我想计算一下，在这个不完整的句子中，每一个符号作为下一个单词出现的概率。我正在使用py手电变压器(GPT2LMHeadModel )，一个可能的解决方案是用每个标记来评估整个句子的得分，但是当要计算的令牌数是100或1000时，计算时间就会开始太长。必须只处理句子一次，并以某种方式使用隐藏状态来计算标记集的概率，但我不知道如何处理。

浏览 0提问于2020-07-02得票数 5

回答已采纳

1回答

同时使用past和attention_mask进行gpt2

python、pytorch、huggingface-transformers

我正在处理一批长度不同的句子，因此我计划利用gpt2中的填充+gpt2功能。from transformers.to

浏览 3提问于2020-02-28得票数 0

回答已采纳

1回答

GRUB设置地址内核在以下位置加载

grub

在不使用链接器的情况下，如何更改GRUB尝试加载内核的地址？我想在GRUB配置文件中执行此操作。

浏览 10提问于2020-03-20得票数 0

1回答

在使用ONNX推理会话时，如何通过传递“标签”来获得语言建模损失？

pytorch、huggingface-transformers、language-model、onnxruntime、gpt-2

当使用GPT2时，我们可以简单地传递'labels‘参数来获得损失，如下所示： import torchmodel = GPT2LMHeadModel.from_pretrained('gpt2', return_dictreturn_tensors="p

浏览 88提问于2021-08-10得票数 0

1回答

无法在Win10上运行tensorflow

python、tensorflow

我正在尝试在我的机器上运行Gpt2，我遵循以下指南：https://lambdalabs.com/blog/run-openais-new-gpt-2-text-generator-code-with-your-gpu/ 我在Conda上创建了一个新环境，以确保它是独立的和所有的，并下载了正确版本的库。Windows10Python3.6Tensorflow-GPU1.12(与pip一起安装) CUDA v9，v10，v11 cuDNN v9和v11 (我首先安装了dht elatest，但

浏览 17提问于2020-09-02得票数 0

回答已采纳

1回答

GRUB找不到windows ESP

dual-boot、grub

我有2个ESP，这可能是问题所在，但我认为可以修复，因为我可以使用GRUB集手动启动。不管怎么说这是我的安排。--hint-efi=hd0,gpt2 --hint-baremetal=ahci0,gpt2insmod part-gptinsmod search_fs_uuidinsmod chain search --fs-uuid --set=root --hint-bios=hd0,gpt2 --hint-efi=hd0,<

浏览 0提问于2017-04-22得票数 1

回答已采纳

1回答

为什么grub不能立即引导到Ubuntu？

ubuntu、boot、grub

您需要做的是将GRUB_TIMEOUT更改为0，然后在shell中运行sudo update-grub。我这样做了，但在重启后，我的系统仍然有30秒的超时。我可以更改它们，但我没有，因为在文件中明确声明不更改文件中的任何内容，所以我转向了这个平台。你能推荐一个解决方案吗？ Ubuntu: 19.04

浏览 11提问于2019-09-18得票数 2

1回答

Huggingface Transformer - GPT2从保存的检查点恢复训练

python、pytorch、huggingface-transformers、language-model、gpt-2

恢复从run_clm.py实现的GPT2微调 GPT2 huggingface是否具有从保存的检查点恢复训练的参数，而不是从头开始再次训练？假设python笔记本在训练时崩溃，检查点将被保存，但当我再次训练模型时，它仍然从头开始训练。来源：here 微调代码： !gpt-finetuned \ --per_device_train_batch_size 2 \ --save_steps

浏览 98提问于2021-01-01得票数 1

回答已采纳

1回答

将目标文本传递给gpt2和T5以进行微调以学习文本生成任务

nlp、language-model、gpt、huggingface、t5

在GPT2和T5文本生成教程中，我们确实为目标文本(即标签)指定了input-ids，但是对于GPT2，我们没有。例如，在本T5文本生成教程中，我们可以找到行：但我在这些GPT2文本生成示例中找不到任何这样的行：拥抱艺术家演示 GPT2用于文本生成的

浏览 0提问于2023-04-27得票数 0

回答已采纳

1回答

为什么没有初始化GPT2Model的一些权重？

pytorch、huggingface-transformers、gpt-2

我在一个研究项目中使用GPT2预培训模型，当我用以下代码加载预培训模型时，gpt2= GPT2Model.from_pretrained('gpt2') GPT2Model的一些权重不是从gpt2的模型检查点初始化的，而是新初始化的：“h.0.attn.mask据我所知，上面各层的权重并不是从预先训练的模型中</e

浏览 19提问于2021-05-04得票数 3

1回答

Ubuntu菜单手动添加Windows条目

dual-boot、grub2

此代码中的A23-C8F4部分在我的pc for Windows中是不同的，在哪里可以从windows文件中找到这段代码。密码在哪里？insmod part_gptset root='hd0,gpt2' search--no-floppy --fs-uuid --set=root --hint-bios=hd0,gpt2 --hint-efi=hd0,gpt2

浏览 0提问于2015-10-03得票数 0

回答已采纳

1回答

Windows 10已从启动菜单中删除

dual-boot、grub2、windows-10

我在20.04和Windows 10之间运行双引导已经有一段时间了，但是现在我不能再引导到Windows了。这个选项神秘地从启动菜单中消失了。请在您的UEFI固件中启用BIOS兼容性/CSM/Legacy模式，并从live(或live)中使用此软件。“ 因为我已经运行了双重引导，所以我非常怀疑我是否需要改变BIOS中的任何东西。我不想重新安装Windows，所以在我冒险搞砸之前，我想问你们怎么继续。

浏览 0提问于2020-12-26得票数 1

1回答

HuggingFace - GPT2托卡器在config.json中的配置

pytorch、huggingface-transformers、language-model、huggingface-tokenizers、gpt-2

GPT2 finetuned模型被上传到中以进行推理。在推理过程中观察到了下面的错误， } "transformers_v

浏览 15提问于2021-02-19得票数 1

回答已采纳

2回答

如何生成一个精确N个单词的句子？

nlp、bert、ai、text-generation、gpt

由于GPT2预先训练的模型，现在有可能产生有意义的单词序列，无论是否有前缀。然而，一个句子应该以一个恰当的结尾结束(.，!，?)。我只是想知道如何生成一个长度为N的句子(有适当的结尾)？然而，在任何管道中使用它都可能是一项非常艰巨的任务。是否有任何建议，也许是次要的算法，调优超参数，使其产生期望长度的句子与更高的概率。

浏览 0提问于2020-03-03得票数 3

2回答

Huggin面对会话错误:错误:参数-模型:无效选择：‘model/’(从'openai-gpt'，‘gpt2’中选择)

python、nlp、gpt

-dataset_path DATASET_PATH]interact.py: error: argument --model: invalid choice: 'models/' (choose from 'openai-gpt', 'gpt2amazonaws.com/models.huggingface.co/

浏览 2提问于2020-03-01得票数 1

4回答

对于文本分类任务，您会使用哪种模型(GPT2、BERT、XLNet等)？为什么？

tensorflow、nlp、language-model、bert-language-model

我在各处看到过一些关于使用Bert和GPT2执行文本分类任务的文章。然而，我不确定我应该从哪一个开始。在自然语言处理中的这些最新模型中，您会使用原始变压器模型、Bert、GPT2、XLNet中的哪些模型作为开始？为什么？我更愿意在Tensorflow中实现，但我也可以灵活地使用PyTorch。谢谢!

浏览 5提问于2019-09-09得票数 8

点击加载更多