前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >腾讯开源TurboTransformers:自然语言处理推理加速工具

腾讯开源TurboTransformers:自然语言处理推理加速工具

作者头像
腾讯大讲堂
发布2020-04-24 20:10:26
1.2K0
发布2020-04-24 20:10:26
举报
文章被收录于专栏:腾讯大讲堂的专栏

4月24日,腾讯正式宣布开源Transformer推理加速工具TurboTransformers。该工具面向自然语言处理领域中Transformers相关模型丰富的线上预测场景,在微信、腾讯云、QQ看点等产品的线上服务中已经广泛应用,这也是腾讯通过Github对外开源的第100个项目。

据了解,TurboTransformers源于腾讯内部对开源协同的推动。2019年初,腾讯技术委员会成立,下设开源协同、自研上云两个项目组和对外开源管理办公室,以此来促进内部代码的开放共享和协同共建。TurboTransformers来自于深度学习自然语言处理基础平台TencentNLPOteam,作为基础性技术版块,率先进行了开源协同的实践,旨在共建NLP技术研发环境、提升研发效能。在内部开源和技术打磨的基础上,该项目进一步对外开源。

在自然语言处理(NLP,NaturalLanguage Processing)领域中,以BERT为代表的Transformers相关神经网络模型是近年来最重要的模型创新。可以为阅读理解、文章摘要、语义分类、同义改写等NLP任务提供显著的效果提升。但提高模型精度的同时,Transformes相关模型也带来了更多的计算量。由于深度学习的训练和推理任务存在差异,训练框架直接应用于线上推理并不能得到极致的性能。众多模型算法工程师都遇到了训练的模型效果很好,但因为响应延迟不满足要求,导致模型无法上线的问题。

TurboTransformers是一款小而美的Transformer加速工具,就像它的名字所寓意的,Turbo(涡轮)可以增加发动机氧气含量,从而带来更大动力,使用TurboTransformers也可以让你的推理引擎更加强劲。具体来说,它具有高速、实用、简单三个特点:

1. 优异的CPU/GPU性能表现

面向Intel多核CPU和NVIDIAGPU硬件平台,通过核心融合和并行算法优化,TurboTransformers充分发挥硬件的各层级并行计算的能力。在多种CPU和GPU硬件上获得了超过PyTorch/TensorFlow和目前主流优化引擎(如onnxruntime-mkldnn/onnxruntime-gpu,torchJIT,NVIDIA fastertransformers)的性能表现。

2. 为NLP推理任务特点量身定制

TurboTransformers可以支持变长输入序列处理,无需序列补零、截断或者分桶带来的无用计算,也无需任何针对计算图在推理前进行预调优的过程。

3. 简单的使用方式

TurboTransformers支持python和C++接口进行调用。TurboTransformers支持TensorFlow和PyTorch预训练模型的载入。它可以作为huggingface/transformers的推理加速插件,通过加入几行python代码获得的BERT模型的端对端加速效果。

 此前TurboTransformers已应用在腾讯内部多个线上BERT服务服务场景。其中微信常用问题回复服务获得1.88x加速,公有云情感分析服务获得2.11x加速,QQ看点推荐服务获得13.6x加速。和其他相关工具对比,TurboTransformers在性能、使用方式上都具备优势。

据了解,目前TurboTransformers的功能还相对有限,未来腾讯还会进一步对其优化,在开源后,TurboTransformers也将得到来自社区的完善。

随着技术能力的不断累积,以及以开源为代表的腾讯新代码文化的兴起,腾讯在开源领域表现亮眼:在全球最大的代码托管平台 Github 上,腾讯已经累计开源了100个项目,覆盖云原生、大数据、AI、安全、硬件等多个热门的技术方向,并累计获得了超过29万Star数,跻身国际上有影响力的开源企业之一。“腾讯希望在科研领域投入更多力量,把‘科技向善’纳入公司新的使命与愿景。我们将通过内外部开放源代码等方式,积极参与‘全球科技共同体’的共建。”在2019年智博会上,腾讯公司董事会主席兼首席执行官马化腾表明了腾讯对开源的重视。

今年年初,腾讯高级执行副总裁、云与智慧产业事业群总裁汤道生也谈及开源对腾讯的重要意义,他表示:“开源不再是开发者的个人热情,它已成为许多技术驱动型产业背后重要的创新推动力。在科技向善的使命与愿景指引下,腾讯将进一步拥抱开源,与广大开发者一起创造正向价值。”

在2020年,腾讯陆续推出了针对云的场景研发的Linux 操作系统TencentOS Server、视频评估算法DVQA等多个开源项目,同时也积极用科技力量助力全球抗击疫情,3月27日,腾讯健康新冠疫情模块国际版(TH_COVID19_International)、“新冠肺炎AI自查助手” (COVID-19 self-triage assistant)也接连开源,向全球开放科技能力。

TurboTransformers 正式开源!

https://github.com/Tencent/TurboTransformers

(点击文末阅读原文直接访问)

请给项目 一个 Star !

欢迎提出你的 issue 和 PR!

 国内镜像地址:

https://git.code.tencent.com/Tencent_Open_Source/TurboTransformers

(登录后才能访问公开项目)

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

新冠疫情过后,世界将会怎样?疫情趋势深度报告

《动物森友会》如何通过奖励设计让人喜喜爱爱?

带你了解腾讯最坚实的支撑事业群

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-04-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯大讲堂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 新冠疫情过后,世界将会怎样?疫情趋势深度报告
  • 《动物森友会》如何通过奖励设计让人喜喜爱爱?
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档