服务平台化技术，让 AI 服务像空气一般自然

人工智能作为当今互联网 IT 行业最前沿的技术方向，毫无疑问是每个崇尚科技的公司都想拥有的技术，老总们总是在思考，怎么才能让我的产品也能拥有 AI 等能力。但是往往最前沿的技术都伴随着高不可攀的成本代价，高科技的 AI 人才、昂贵的运算硬件、复杂的应用实施成本等等。如何让 AI 服务像空气一般自然，让每家公司都拥有AI的能力，让全社会都享用 AI 的便利？能力越大、责任也越大，当拥有 AI 能力的公司，能够实现将自己的 AI 能力快捷、便利的开放，将 AI 赋能于没有 AI 能力的公司，以上这些就将成为现实。

犀牛科技是以 AI 驱动的医疗大数据公司，经过多年的运营，收集了海量的数据资产，并逐步训练研究，沉淀积累了大量高水平的急重症预警、慢病健康风险、脑卒中评估预警、心电智能判读等机器学习模型，广泛用于院内外多条业务线当中。这些模型除了支撑自有产品和项目外，作为服务向第三方输出，也取得了不错的效果。

领先的人工智能企业将 AI 能力开放是当前行业趋势，也是犀牛科技的战略发展方向，随着公司人工智能模型赋能第三方业务的快速扩大，在大量的项目实施和使用的过程中我们也遇到了不少问题。首先的挑战就是基础环境构建的复杂性、机器学习框架的多样性、数据格式的多样性。直接导致了一个情况，就是每一条业务线都有不同需求的时候，多环境维护就会变得异常繁琐。其次，AI 业务实施时，如何通过平台的横向和纵向扩展以应对考量算法的兼容性、平台的扩展性、弹性伸缩的能力、容灾能力也是一直以来困扰着能力开放平台的问题。

基于这些情况，我们提出了机器学习平台化，服务化的技术方案：将我们的系统升级成简单易用的、更加通用、更加稳定、方便扩展的平台，让各种业务都能够方便地接入平台，提供稳定动态可调整的服务能力。 为了实现这种平台能力，我们从规范化，容器化，分布式，模块化这 4 个方面来进行平台架构升级。

规范化

整个平台设计过程中的理念就是让业务人员专注于业务程序的编写，建立一个医疗业务场景下统一的数据集。这样的好处是，计算节点不需要支持各种存储接口，数据接入层还可以做数据流量控制，确保各个任务的 SLA，同时对后端的数据存储系统进行带宽、流量保护。整个接入层还可以做一些权限控制，以便不同的人共享资源时确保数据安全性。

容器化

首先是算法的分离，通过整合容器技术将 CPU、GPU 等环境给统一化，用户只需提供对应的容器。其次，针对 GPU、CPU 对应的不同硬件封装全部由系统去处理，这样的益处在于对于使用者而言他所需面对的只是一个容器。容器分离的优势在于使用容器之后，每一个任务其实都是独立的运行环境，所以不同任务之间不会出现软件冲突。这使得每一个镜像均可以在不同的环境中运行，这样的兼容性和通用性在真正实际应用部署过程中优势突出。

集群化

集群化首先解决了节点宕机的问题，可做到容灾。其次可做到资源共享。训练平台的核心就是管理 GPU 资源，把算法和数据进行一个连通，对于任何任务在任一 GPU 节点上去运行的时候，它都能访问自己的数据。无需关心数据获取的来源、打通方式及维护 GPU 节点或集群，这些工作将全部交给平台管理。而服务平台，对于使用者而言，则只要关心业务的逻辑开发，开发一个单节点能用的AI服务即可。平台会负责做负载均衡、容灾、管理任务、弹性扩缩容等工作。

模块化

整个平台可以对接不同的资源管理系统。我们使用资源管理系统的目的是让它能管理资源，给到使用者资源状态的反馈。同时实际任务的调度和下发都由核心平台去做。这样，整个平台系统就变成了多层结构，最上层就变成了一个灵活层，实现快速对接各种各样的不同软件环境。

通过四个方向的平台升级，系统的安全性、通用性、可扩展性都得到了极大的提升。升级后的平台架构图如下：

整个架构分为业务应用层，计算框架层，运行集群层，基础设施层。

架构具备以下四大优势：

1、提供预置AI基础环境。包括 scikit-learn、caffe、TensorFlow 等框架。用户无须进行复杂的环境安装、配置工作。

2、提供一站式 AI 服务。包括 AI 训练平台和AI在线服务平台，用户无须自行搭建复杂的 AI 平台。

3、系统可自由横向扩展。可以根据需求规模自行定义资源配置。

4、纵向扩展力强。用户可自由对多种计算、存储、网络资源类型进行选择适合的组合。

新型架构的 AI 服务赋能平台，以多样化计算硬件为基础设施，依托多渠道、多维度数据采集，将数据汇集到数据中心，利用先进 AI 算法、计算架构和世界级水平数据挖掘能力，实现机器学习平台化、服务化。在没有优化平台架构之前，需要基于业务场景重新搭建环境，数据处理， 训练模型，基于训练好的模型，开发对外服务。使用优化的平台架构后，只需要训练模型和少量数据处理工作，就行将模型服务交付，而且可以随着用户的量的变化动态实时调整计算能力，支持快速部署新的业务环境，实现多项目的快速实施。

通过平台的架构技术升级，最大程度的提升了犀牛科技对外输出 AI 技术的能力，面向行业第三方提供全面的对外开放。目前，基于新技术架构的 AI 赋能平台已经上线，应用在公司多个第三方 AI 能力开放项目当中，通过云端 AI 赋能平台支撑院内院外的慢病预警、心电自动判读、卒中预警等 AI 服务，在实施应用过程中获得了客户高度的好评，客户纷纷表示，是你们的 AI 让我们的产品重新获得了生机，让我们的产品提升到了新的层次。