项目简介
Forward 是一款腾讯平台和内容事业群(PCG)研发的 GPU 高性能推理加速框架。它直接加载主流框架模型(Tensorflow / PyTorch / Keras)转换成 TensorRT 推理加速引擎,帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT,Forward 更易用以及更容易扩展支持更多模型和算子。目前,Forward 除了覆盖支持主流的 CV,NLP 及推荐领域的深度学习模型外,还支持一些诸如 BERT,FaceSwap,StyleTransfer 这类高级模型。
以近期的百万级 BERT 语言模型推理加速项目为例,原本需要成百上千的 CPU 资源来承载的线上推理服务,使用 Forward 推理加速技术后,能够实现原始已训练模型的无缝接入,并保持与之前线上相当的性能的情况下,能节省 40% 以上的成本,实现大幅的成本效能优化。同样地,其他业务团队(例如 QQ,腾讯看点,腾讯新闻,微视)等团队的业务模型也获得了大幅的吞吐量性能的提升。因此,我们有理由相信 Forward 有广大的需求和落地场景,尤其是在日后 GPU 资源日渐丰富的情况下,更是前景可期。
深度学习模型推理加速,是广大算法开发及落地人员所热切关注的领域。如果模型推理能得到提速,则意味着线上服务的降本提效。然而业界现有推理加速方案的开发成本高,支持范围小,易用性低,使得业务团队难以将模型推理加速提上日程。我们可以了解到目前业界这一块正处于起步发展阶段,NVIDIA 和Torch 等团队也想做这样的工具(如 TF-TRT,torch2trt 等)并处于较初级的阶段,有一定局限性,而我们这个项目算是比较成熟的项目,所以期望能开源本项目来补充业界这一块的短暂空白,助力开源社区在这个领域的快速发展。
根据行业应用可知,此项目在业界应有大量的需求,开源此项目则可以满足那些开发用户的需求。且从立项开始,Forward 就秉承开源社区的先进技术和理念,遵循各方面(包括代码质量,工程架构,版本管理等)开源标准来规范项目。因此,为了项目更好的发展,我们期待开源社区的开发人员帮我们一起共建该项目,我们也会随时跟进开源社区需求,提出并解决各种 Issue ,从而使得该项目能逐渐发展壮大。
https://github.com/Tencent/Forward
(点击文末阅读原文直接访问)
请给项目 一个 Star !
欢迎提出你的 issue 和 PR!
国内镜像地址:
https://git.code.tencent.com/Tencent_Open_Source/Forward
(登录后才能访问公开项目)
腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像