深度学习模型一键式服务化部署，就选Paddle Serving

安防智慧城市：AI算法—>数据中心/边缘/终端服务化上线

企业上线AI模型，实现服务化部署业务，往往最关心的是以下三个方面：

1、性能需求

企业服务系统通常伴随着高并发（在同一个时间点，大量的用户请求、访问服务），如果服务框架的性能不佳，则只能通过部署更多服务节点来满足业务需求，因此服务化部署性能能提升40%，相当于直接节省40%的机器成本，以及长期的电费、折旧等成本，不仅有利于企业节约成本，而且符合国家低碳战略。

2、功能需求

不同业务对服务部署的功能需求各不相同，A任务需要模型加密功能，B任务需要灰度测试，C任务需要模型热加载，服务框架的功能完备性也是企业选型时的重要依据。理想情况下，业务实际部署上线过程中所需要的所有功能，服务框架都应具备，不再需要企业用户再进行二次开发。

3、便捷需求

服务框架的上手难度、二次开发的学习成本、是否提供相关Demo示例、文档教程是否完备、部署的便捷性、使用过程中的问题定位等一系列便捷需求也是企业选择服务框架时重点考虑的因素。

飞桨服务化部署框架Paddle Serving经过多个版本的不断迭代升级，是市面上为数不多的能同时解决企业服务部署过程中三方面需求的深度学习服务部署框架：

1、极致性能

为了让用户能够实现在高并发、多模型支持等场景的高性能部署，Paddle Serving服务化部署框架进行了极致的性能优化，以某招聘领域头部公司使用Paddle Serving服务化部署工具的效果举例：使用最新的Paddle Serving较之前的版本QPS平均提升5倍，日均流量12w左右情况下，CPU申请核数从50降低到5个即可满足业务要求。

某招聘领域头部公司使用Paddle Serving的QPS性能提升平均5倍以上

某招聘领域头部公司使用Paddle Serving部署的资源节省信息

2、功能全面

Paddle Serving经过多个版本迭代，在Client端具备了加密预测、A/B Test、数据压缩、HTTP/GRPC/BRPC多种网络协议和Java/C++/Python多语言客户端的功能；在Serer端具备了模型加密推理、模型热加载、自动Batch合并、AutoPadding、模型热加载、请求缓存、Cube稀疏参数索引、基于DAG图执行引擎的多模型组合、CPU/GPU/XPU多种硬件支持的能力，同时支持了Kong安全网关、kubernetes容器集群管理系统等一系列功能，覆盖企业服务部署的日常功能需求。

Paddle Serving功能全貌

Paddle Serving基于K8S的服务部署上云 / Kong安全网关

3、便捷易用

为了让用户便捷易上手，目前Paddle Serving已经在官网仓库中加入了6类（图像分类、目标检测、图像分割、文字识别、自然语言处理、推荐）共计45个模型的示例供用户参考。对于绝大部分用户，仅需一行命令即可完成深度学习模型的服务部署工作。此外Paddle Serving提供了两种语言（Python/C++）编写的服务框架，方便深度用户选择自己熟悉的编程语言二次开发。用户在使用Paddle Serving过程中遇到的任何问题都可以在Github官网、微信群、QQ群中提出，我们的框架开发人员会为您及时耐心地解答。

先奉上开源服务化部署代码实现：

https://github.com/PaddlePaddle/Serving

喜欢的小伙伴Star收藏，深入研究使用。