专栏首页机器之心只需单击三次,让中文GPT-2为你生成定制故事

只需单击三次,让中文GPT-2为你生成定制故事

机器之心报道

机器之心编辑部

想要 GPT-2 生成中文故事,听听它对各种主题的看法?你可以试试这个中文预训练 GPT-2 项目,它开源了预训练结果与 Colab Demo 演示,只需要单击三次,我们就能生成定制的中文故事。

  • 项目地址:https://github.com/imcaspar/gpt2-ml
  • Colab 演示地址:https://colab.research.google.com/github/imcaspar/gpt2-ml/blob/master/pretrained_model_demo.ipynb

既然昨天才过完双十一,那么我们先看看这个预训练模型能生成什么样的故事。如下是我们给定前提「双十一」,中文 GPT-2 生成的第一个样本:

Sample, 1 of 10 双十一,不只是剁手的节日,更是买买买的狂欢节!10 月 13 日,中国小象开启的全新一年的跨境爆款系列商品双十一的正式来袭,围绕电商双十一的购物理念及战略重点,阿里巴巴、天猫联合打造的潮流趋势支付,正式登陆双十一狂欢夜。潮流界、时尚界盛事的参与者,统统化身成为电商促销的传播者和领导者,时尚界的人们以身作则,走在时尚前线,年轻时尚女性,正用最新的鲜美,向消费者传递快乐与创意。不止双十一,很多行业的大事件会在这个季节火热登场,不只是女性用户,还有男性用户。那么,在这些品牌高调露面的时刻,我们又该如何大玩不同的新玩法?如何抓住双十一的流量红利和品牌曝光点?

首先,形式是核心。网购、预售、快递都是消费者在双十一这个大战场上所接触最多的环节,而品牌商们喜欢的是大玩点创新、玩点新意。其次,先有用户的需求,才能够靠作品的特色获得市场的重视。小象电商的用户就是普通人,所以他们的需求就是需要一个包包,一条围巾,要么想各种创意。

于是,除了颜值,就是线下,大玩奇思妙想!不限于明星、时尚青年的价值需求,一个玩法就是无限加价,为了让所有用户都有收获。潮流的故事往往是颠覆性的,为了引起用户的兴趣,新玩法的推出,要给用户充满惊喜的体验,提供最奇妙的玩法。就算是普通人购物体验也会选择最少的购物过程,这就是品牌持续+创新的理念。来源:综合自阿里巴巴官方微博、阿里妈妈官方微博、中国经济网的特点。对阿里和时尚感兴趣的朋友,可以关注微信号:hzcyhg

这个生成样本说得头头是道,很难看出来它完全是由模型生成的,甚至样本给出了一个微信号,我们查了后估计该微信号与文本是没什么关系的。

既然样本效果这么好,它肯定需要很多中文语料。项目表明,该 15 亿参数量的 GPT-2 中文预训练模型在 15GB 的纯文本上进行训练,一共迭代了 10 万步。这 15GB 的纯文本主要选自 THUCNews 与 nlp_chinese_corpus,它们会做一系列的数据清理。

  • THUCNews:http://thuctc.thunlp.org/#中文文本分类数据集THUCNews
  • nlp_chinese_corpus:https://github.com/brightmart/nlp_chinese_corpus

此外,项目作者还简化整理了 GPT-2 训练代码,移植了 Bert Tokenizer 以添加多语言支持。因为移植了 Bert Tokenizer,所以模型输出结果很容易与基于 BERT 的模型进行整合。

项目作者开放的预训练模型是在 TPU Pod v3-256 上复现的 15 亿参数 GPT2,这也是 GitHub 上第一个支持大规模 TPU 训练的中文 GPT-2 项目。

  • 本项目的训练脚本:https://github.com/imcaspar/gpt2-ml/tree/master/train

极简易用的 Colab 演示

非常吸引人的是,该项目提供了一个非常容易使用的 Colab 项目,只需简单地单击三次,我们就能使用 Colab 体验 GPT-2 续写整段文本的能力。演示地址在文章前面已经提供了,这里主要展示机器之心尝试的效果。

下图是我们尝试使用的结果,简单而言分可以为三步:首先从 GitHub 下载源代码;其次从 Google Drive 下载预训练模型,这里需要获得授权,也非常简单;最后,调用 Colab 的硬件进行推断就行了。

我们可以看到,中文 GPT-2 大部分生成结果,上下文还是非常合理的。如果你也想试一试效果,那就快来试一试吧,没有任何 ML 基础也能看到模型的真实效果。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于 Vue 和 TS 的 Web 移动端项目实战心得

    来源:https://juejin.im/post/5d759f706fb9a06afa32adec

    ConardLi
  • 最近学到的Git知识,大厂的Git机制还是很方便的

    •这里由于提交自己的代码第一次提交到A分支,第二次提交B分支,然后报错了,这里报错以后,会提示一个百度自己内部的链接,你点击链接就可以照着提示去修改,可以说还是...

    用户2769421
  • 计算机视觉领域最好用的开源图像标注工具

    它来自下面的项目:https://github.com/wkentaro/labelme

    机器学习AI算法工程
  • 【Kubernetes系列】第9篇 CI/CD之全流程实践

    注: 本次示例使用的gitlab项目地址为:http://gitlab.hanker.com/colynn/hanker-hello.git

    HankerCloud
  • Git示例教程 - 撤销上次提交

    如果我们想撤销上次提交,并且丢弃上次提交修改的内容,可以用另外一条reset命令,这个就不在这里演示了,有兴趣的同学可以自己试下。

    wangyuntao
  • SSD物体检测模型Keras版

    本文是基于论文SSD: Single Shot MultiBox Detector,实现的keras版本。

    机器学习AI算法工程
  • 2016-2018年机器学习大赛TOP开源作品汇总

    本次大赛要求参赛者基于提供的讯飞 AI 营销云的海量广告投放数据,通过人工智能技术构建来预测模型预估用户的广告点击概率。比赛提供了 5 类数据,包括基础广告投放...

    机器学习AI算法工程
  • 带你少走弯路:强烈推荐的Keras快速入门资料和翻译(可下载)

    上次写了TensorFlow和PyTorch的快速入门资料,受到很多好评,读者强烈建议我再出一个keras的快速入门路线,经过翻译和搜索网上资源,我推荐4份入门...

    材ccc
  • NLP学习思维导图,非常的全面和清晰

    nlp-roadmap 是 Natural Language Processing 的路线图(思维导图),以及为对学习NLP感兴趣的同学准备的一些关键字。这个路...

    AI科技大本营
  • 在 Kubernetes 上使用 Tekton 快速实现应用自动发布

    Tekton 是一个功能强大的 Kubernetes 原生开源框架,用于创建持续集成和交付系统。 通过抽象底层实现细节,用户可以跨多云平台和本地系统进行构建、...

    iMike

扫码关注云+社区

领取腾讯云代金券