与TensorFlow JS一起使用的OpenAI GPT-2型号
与TensorFlow JS一起使用的OpenAI GPT-2型号
提问于 2020-07-01 21:12:02
可以使用TensorFlowJS从OpenAI GPT-2生成文本吗？
如果不是，限制是什么，比如模型格式或...？
回答 1
Stack Overflow用户
发布于 2020-07-01 22:33:37
除了gpt-2中的一些不被tensorflowjs支持的操作之外，我没有看到任何不支持的原因。
我不知道该怎么做，但这里有一个很好的起点：
install.sh
python3 -m pip install -q git+https://github.com/huggingface/transformers.git
python3 -m pip install tensorflowsave.py
from transformers import TFGPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
# add the EOS token as PAD token to avoid warnings
model = TFGPT2LMHeadModel.from_pretrained("gpt2", pad_token_id=tokenizer.eos_token_id)
model.save("./test_gpt2")这将为您提供一个SavedModel文件。现在，您可以尝试确定输入和输出节点，并使用tensorflowjs_converter对其进行转换。指针：https://www.tensorflow.org/js/tutorials/conversion/import_saved_model。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62677651
复制相关文章
相似问题
腾讯云开发者
