发布史上最大NLG模型 微软盘前股价涨超1％创新高

智通财经APP获悉，2月11日(周一)美股盘前，截至北京时间21:38，微软(MSFT.US)盘前涨1.14%，报190.85美元，创造股价历史新高。

今天，微软研究院重磅发布了有史以来最大的基于Transformer架构的语言生成模型 Turing-NLG。此模型的参数高达170亿，是英伟达(NVDA.US)的Megatron(也就是现在第二大Transformer模型)的两倍，是OpenAI的GPT-2的十倍。

基于Transformer的架构，意味着该模型可以生成词来完成开放式文本任务。除了填充不完整语句外，它还可以对输入文档的问题和摘要生成答案。

而微软之所以能够开发出 Turing-NLG 这一重磅级的语言生成模型，实际上离不开其差不多同一时间开源的深度学习库——DeepSpeed。

微软表示，DeepSpeed 能够让他们降低模型并行度(从16降低到4)，将每个节点的批处理大小增加4倍，并将训练时间减少到原来的1/3。不仅如此，DeepSpeed 使用更少的GPU 就可以提高大型模型的训练效率。