课程概述
本课程介绍统一的数据分析和AI平台Analytics-Zoo的基本功能和原理。利用这一统一数据分析和AI平台来构建分布式 的深度学习，机器学习的端到端应用， 支持基于Tensorflow，pytorch，keras，BigDL框架下各种应用的模型训练，Finetune，推理。适用与图片分类，目标检测，时间序列，文字处理等应用
【课程大纲】
1.Analytics-Zoo的研发背景
2.Analytics-Zoo的设计
3.打造端到端的AI应用
机构简介
英特尔是半导体行业和计算创新领域的全球领先厂商，以智能互联技术奠定全球创新基石。英特尔创始于1968年，拥有50余年推动技术创新和耕耘产业生态的成功经验。如今，英特尔正转型为一家以数据为中心的公司。英特尔的战略愿景聚焦于三个方面：一是致力于生产世界上最好的半导体芯片；二是引领人工智能与“自能”革命；三是做全球领先的端到端技术平台提供者。英特尔正与合作伙伴一起，共推人工智能、自动驾驶、 5G及物联网等领域的技术创新与应用突破，驱动智能互联世界，从而解决人类面临的重大挑战。 英特尔于1985年进入中国，是在华高科技领域最大的外国投资企业之一，协议总投入约130亿美元。中国是英特尔全球战略之重点，英特尔在中国拥有美国总部之外最为全面的业务部署，覆盖了前沿研究、产品技术开发、精尖制造、产业生态合作、市场营销、客户服务、风险投资和企业社会责任等。英特尔中国现有员工约9,500人。扎根中国三十四年，英特尔见证并深度参与了中国的改革开放，从浦东开发、西部开发到振兴东北等，英特尔一直跟随改革开放的步伐，积极带动区域经济发展，为高端制造持续注入新动力。 2014年12月，英特尔宣布在未来15年将为成都工厂投资16亿美元，首次引入英特尔最先进的高端测试技术（ ATT），使成都工厂在原有的芯片封装与测试业务之外进一步升级为英特尔在美国境外唯一的ATT技术工厂；该技术已于2016年11月18日正式投产。 2015年10月，英特尔宣布投资55亿美元，将英特尔大连工厂升级为非易失性存储技术制造基地；该项目已经于2016年7月正式投产， 2017年发布了两款全新的基于3D NAND的数据中心级固态盘；其二期项目已经在2018年9月投产英特尔最先进的96层3D NAND产品。英特尔中国研究院是英特尔全球五大创新中枢之一，而英特尔亚太研发中心已发展成为英特尔在亚洲最大的综合性研发基地之一。 英特尔中国积极履行企业社会责任，涵盖了人才培养、员工关爱、多元化和包容、环境可持续、供应链建设、志愿服务等领域。英特尔连续20多年被教育部评为最佳合作伙伴。我们持续支持英特尔杯嵌入式大赛、英特尔杯软件创新大赛和人工智能人才培养等项目，开展丰富多彩的校园活动，每年都有上万名学生的直接参与，受益青少年数以十万计。英特尔中国员工在2018年参与志愿活动人数达8,636人，贡献志愿服务时间超过12万小时，参与比例为69%； 10年来累计志愿服务时间超过72 万小时。我们把公司运营与环境可持续发展协调并进，积极减少碳足迹；还和政府、产业链以及公益组织深入合作，共同推动绿色可持续发展。全球独立机构声望研究院发布的“中国最具声望的公司”（ RepTrak? 100） 2018年百强排行榜中，英特尔荣登榜首。
讲义
AnalyticsZoo的研发背景
Real-World ML/DL Applications Are Complex Data Analytics Pipelines
ML的算法或者DL的算法只占了非常小的一部分，整一个应用的处理过程不能仅仅考虑模型算法执行本身的速度，更多的是考虑从数据源的导入到它的准备清理、转换，到模型训练，以及到模型的部署落地整一条链条整体的运行速度。
Unified Big Data Analytics Platform
我们会发现整个Hadoop，或者Spark生态已经给我们提供了非常多非常好用的组件。比方可以用YARN实现资源的管理、可以用Kafka或Flume方式对接流失的数据，可以用HDFS、Avro等等这些不同格式或者不同存储手段的组件存储数据。同时Spark生态本身呢，也提供很多有用的组件，比方SQL、DataFrame等等组件实现数据清洗，以及数据源的加载、可以用MLlib处理传统的机器学习，或者说常见的特征提取、特征转换乘等工作。在整个版图中已经包含了大量我们需要的组件，唯一缺失的是深度学习的组件。
Chasm b/w Deep Learning and Big Data Communities
目前主流的深度学习框架和现有的大数据生态是有一个断层的，因为很多流行的框架在研发的初衷呢并没有考虑到开源组件如何和开源的大数据生态结合。因此我们希望可以打造一个开源的软件，一方面可以拥抱现有的大数据生态，另外方面可以无缝地支持、兼容现有的深度学习的框架。
Large-Scale Image Recognition
Spark本身可以很方便的对接Hbase，Spark可以直接从Hbase中把图片加载进来。再基于Spark的预处理操作可以做preprocess操作，最后直接加载SSD的模型，同时也可以加载DeepBit模型，实现端到端的链条的打通。Spark本身对HDFS有非常好的支持，就可以直接往HDFS中写入。图片上的链接可以查看整一个实施的详细的过程。
为了和整个Sprak生态进行更好的兼容，我们选择Data parallel。
AnalyticsZoo的设计
BigDL和AnalyticsZoo
Unified Analytics + AI Platform for BigData
主要分为三个层面。Backend层面，Analytics-ZOOk可以提供TensorFlow、BigDL、OpenVINO等。 OpenVINO其实是一个Intel的加速库。如果说用户只是想做模型的推理时，我们可以用OpenVINO进行整一个模型的加速。高层次的Pipelines层面，Analytics-ZOOk可以提供tfpark、nnframes等。Feature Enginnering、Model、Use case层面，Analytics-ZOOk可以提供image、Object Detection、Recommendation等。
Run as Standard Spark Programs
整个执行过程就是Data parallel的过程。
在Analytics-Zoo底层的算法参数实现同步之前，需要看一下默认版本中Sprak的ML列中要实现的ML算法，它分布在各个节点进程里面的参数梯度是如何进行同步的。下图所示的是一个分布式算法的实现。
Distributed Training in Analytics-Zoo
对梯度进行切分，每一个切片的梯度交由参数服务器的架构进行同步。也就是说原来单点的Driver同步，现在交由多个节点的参数服务器进行同步。和传统的做法的区别是参数服务器切片的同步并没有引入额外参数服务器的进程，而是统一交由Spark原生的Block Manager统一管理。因为Block Manager我们可以很方便基于API实现类似于参数服务器的架构以及同步，大大提升整参数同步的时间。
Distributed TF & Keras on Spark
Analytics-Zoo代码层面的形态，以及如何与TensorFlow和Keras同步：从代码层面主要是分为三个部分，第一部分是数据源的载入、预处理、特征的清洗等等工作；第二部分是模型定义；第三部分是提供TFOptimizer方法。
Spark Dataframe & ML Pipeline for DL
如何和Spark的ML Pipeline以及Keras API集成相关代码如图所示。
Distributed Model Serving
Model Serving的过程：
在Analytics-Zoo中提供Java或Python原生的API。同时整个过程背靠OpenVINO和DL Boost(VNNI)。
端到端的应用案例
Object Detection and Image Feature Extraction at JD.com
和京东合作的例子如图所示。
Analytics-Zoo本身可以直接对接和定义SSD Model和DeepBit Model。在性能对比方面我们可以看到，对比20 cards方案，有较高吞吐量的提升。
Computer vision Based Product Defect Detection in Midea
和美的合作的例子如图所示。
Recommender AI Service in MasterCard
和Master Card合作的例子。
在没有使用Analytics-Zoo前，它们已经基于Spark的进行了一些推荐算法的实现，包括ALS算法等。它们已经打通了整一个端到端的链条，包括前面的数据加载，以及特征工程，以及算法实现。
课程评价(0)
以下选自学员评价
课程学习交流
请扫码关注腾讯产业互联网学堂微信公众号