Github项目推荐 | OpenAI文本生成器 - gpt-2

Github项目地址：

https://github.com/openai/gpt-2

视频：《OpenAI Text Generator - YouTube》by Siraj Raval

地址： https://www.youtube.com/watch?v=0n95f-eqZdw

（或者打开：https://weibo.com/tv/v/Hiyyk0mKE ）

本项目是《 Language Models are Unsupervised Multitask Learners（语言模型是无人监督的多任务学习者）》一文的代码实现

目前，我们只发布了一个较小的（117M参数）版本的GPT-2。

若想查看更多详情，请访问我们的博客。

安装

用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令

git clone https://github.com/openai/gpt-2.git && cd gpt-2

本机安装

下载模型数据：

sh download_model.sh 117M

其余步骤可以选择使用virtualenv或conda之类的工具在虚拟环境中完成。

安装tensorflow 1.12（支持GPU，如果你有GPU并希望它们运行得更快的话）

pip3 install tensorflow==1.12.0

或者

pip3 install tensorflow-gpu==1.12.0

安装其他的python包：

pip3 install -r requirements.txt

Docker容器内安装

构建Dockerfile并将创建的图像标记为gpt-2：

docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu

从gpt-2 docker镜像启动交互式bash会话。

如果你可以访问NVIDIA GPU并且能成功安装 nvidia-docker 2.0，则可以选择使用 --runtime=nvidia 标志。

docker run --runtime=nvidia -it gpt-2 bash

用法

警告：样品未经过滤，可能含有令人反感的内容。

下面的一些示例可能包括Unicode文本字符。 请设置环境变量：

export PYTHONIOENCODING=UTF-8

以UTF-8模式覆盖标准流设置。

无条件样本生成

要从小模型生成无条件样本：

python3 src/generate_unconditional_samples.py | tee /tmp/samples

控制样本有不同的标志：

python3 src/generate_unconditional_samples.py --top_k 40 --temperature 0.7 | tee /tmp/samples

要查看标志的说明，请使用：

python3 src/generate_unconditional_samples.py -- --help

条件样本生成

要提供模型自定义提示，你可以使用以下命令：

python3 src/interactive_conditional_samples.py --top_k 40

要查看标志的说明，请使用：

python3 src/interactive_conditional_samples.py -- --help

GPT-2 样本

警告：样品未经过滤，可能含有令人反感的内容。

虽然我们还没有正式发布GPT-2，但你可以在 gpt-2-samples 文件夹中看到它的一些样本。 我们使用默认设置（温度1和无截断）显示无条件样本，温度为0.7，并使用top_k 40进行截断。我们又使用默认设置（温度1和无截断）显示带有从WebText测试集中提取的上下文的条件样本， 温度为0.7，截断时为top_k 40。

未来的工作

我们可能会发布用于在各种基准测试中评估模型的代码。

我们仍在考虑发布规模更大的模型。