课程概述
本课程将介绍英特尔Analytics Zoo的平台技术及如何利用其构建端到端的分布式AI应用。构建分布式 的深度学习，机器学习的端到端应用， 支持基于Tensorflow，pytorch，keras，BigDL框架下各种应用的模型训练，Finetune，推理。适用于图片分类，目标检测，时间序列，文字处理等应用
【课程大纲】
1. Analytics-Zoo简介
2. 如何在腾讯云上搭建Analytics-Zoo环境
3. 创建基于Analytics-Zoo的AI应用
机构简介
英特尔是半导体行业和计算创新领域的全球领先厂商，以智能互联技术奠定全球创新基石。英特尔创始于1968年，拥有50余年推动技术创新和耕耘产业生态的成功经验。如今，英特尔正转型为一家以数据为中心的公司。英特尔的战略愿景聚焦于三个方面：一是致力于生产世界上最好的半导体芯片；二是引领人工智能与“自能”革命；三是做全球领先的端到端技术平台提供者。英特尔正与合作伙伴一起，共推人工智能、自动驾驶、 5G及物联网等领域的技术创新与应用突破，驱动智能互联世界，从而解决人类面临的重大挑战。 英特尔于1985年进入中国，是在华高科技领域最大的外国投资企业之一，协议总投入约130亿美元。中国是英特尔全球战略之重点，英特尔在中国拥有美国总部之外最为全面的业务部署，覆盖了前沿研究、产品技术开发、精尖制造、产业生态合作、市场营销、客户服务、风险投资和企业社会责任等。英特尔中国现有员工约9,500人。扎根中国三十四年，英特尔见证并深度参与了中国的改革开放，从浦东开发、西部开发到振兴东北等，英特尔一直跟随改革开放的步伐，积极带动区域经济发展，为高端制造持续注入新动力。 2014年12月，英特尔宣布在未来15年将为成都工厂投资16亿美元，首次引入英特尔最先进的高端测试技术（ ATT），使成都工厂在原有的芯片封装与测试业务之外进一步升级为英特尔在美国境外唯一的ATT技术工厂；该技术已于2016年11月18日正式投产。 2015年10月，英特尔宣布投资55亿美元，将英特尔大连工厂升级为非易失性存储技术制造基地；该项目已经于2016年7月正式投产， 2017年发布了两款全新的基于3D NAND的数据中心级固态盘；其二期项目已经在2018年9月投产英特尔最先进的96层3D NAND产品。英特尔中国研究院是英特尔全球五大创新中枢之一，而英特尔亚太研发中心已发展成为英特尔在亚洲最大的综合性研发基地之一。 英特尔中国积极履行企业社会责任，涵盖了人才培养、员工关爱、多元化和包容、环境可持续、供应链建设、志愿服务等领域。英特尔连续20多年被教育部评为最佳合作伙伴。我们持续支持英特尔杯嵌入式大赛、英特尔杯软件创新大赛和人工智能人才培养等项目，开展丰富多彩的校园活动，每年都有上万名学生的直接参与，受益青少年数以十万计。英特尔中国员工在2018年参与志愿活动人数达8,636人，贡献志愿服务时间超过12万小时，参与比例为69%； 10年来累计志愿服务时间超过72 万小时。我们把公司运营与环境可持续发展协调并进，积极减少碳足迹；还和政府、产业链以及公益组织深入合作，共同推动绿色可持续发展。全球独立机构声望研究院发布的“中国最具声望的公司”（ RepTrak? 100） 2018年百强排行榜中，英特尔荣登榜首。
讲义
Analytics Zoo在腾讯云上的实践
课程目标
了解Analytics-Zoo的设计原理与基本概念
了解如何在腾讯云上运行Analytics-Zoo
了解Analytics-Zoo的应用教程，并动手创建自己基于Analytics-Zoo的AI应用
目录
1. Analytics-Zoo简介
2. 在腾讯云上搭建Analytics Zoo
3. 创建基于Analytics Zoo的AI应用
第一章 Analytics-Zoo简介
从三方面来介绍
· 开发背景
· Analytics-Zoo概览
· Analytics-Zoo的原理与架构
我们来看一个真实世界的机器学习和深度学习的系统，它是一个非常复杂的，基于大数据的分析的流水线。如下图所示，
你会看到，机器学习部分的代码就是一个很小的黑框。
机器学习和大数据分析的流水线真正能够在生产系统运行起来还需要很多其他的支撑的模块，包括配置管理，数据收集特征抽取，数据验证，然后资源的调度，资源的管理，以及模型的serving的基本基础架构，还有监控等各个模块的协同合作。
统一的大数据分析平台
主要介绍了大数据分析平台的各种生态。
- 数据接入部分，我们可能会用Kafka或者其他的数据源把大数据给接入进来
- 数据存储部分，我们会用HDFS Hbase来做数据存储。
- 资源调度部分，我们可能会用YARN来做资源的调度。
- 在往上的话是 数据处理和数据分析的的计算框架，这里主要展示了Spark Flink Storm mapReduce和Giraph。
- 然后放大的那一部分是sprakk的的技术栈：
- 底层是Spark Core ；
- 往上是Sprak R，Streaming，以及机器学习的MLlib 和图像处理计算的GraphXx；
- 再往上的话就是一些编程的API
通过这些大数据的框架和大数据的服务，我们可以在此基础之上开发各种类型的工作，比如说我们可以做批处理，流处理，还可以做机器学习，作图机计算。
当然我们也会有不同的各种各样的编程的api，你可能使用 R语言、java语言、Python语言、SQL语言
BigDL 和 Analytics-Zoo
BigDL 和 Analytics-Zoo 是英特尔开源的统一的大数据分析和人工智能的框架。
BigDL 是一个分布式的高性能的基于Apache Sparl的深度学习的框架。
Analytics-Zoo是另外一个基于BigDL keras TensorFlow的一个统一的大数据分析和人工智能的平台，当然它这两个都是分布式的在大数据上面适用的框架。
这里我们重点介绍一下Analytics-Zoo这是一个统一的大数据分析和AI的平台。
以标准的Spark应用运行AI
Analytics-zoo是以标准的 Spark 应用的方式来运行AI。
它其实就是一个是Spark job，在application上引用 library 然后打包成一个jar. 以Spark submit 的方式提交到Spark cluster/ Yarn Cluser 上
这样深度学习的app就跑在会一个分布式的集群里面，作为Spark的应用它在Driver中其实就是Spark的program， 其中含有Analytics-zoo 的 librariy
在worker上就是以Spark task 的方式启动在 Spark Executor 中，而在Spark task 内部通过调用 Analytics-zoo, 底层调用Interl MKL 来实现运算的加速。
Analytics-Zoo中的分布式训练
原理
Analytics-Zoo其实是做数据分化的，也就是说，每一个Worker 上其实都有一份完整的模型，每一个Worker对数据的某一个分片做各自的训练，训练完之后把这个梯度放到Block Manager中。以Block manager 作为ps的一个架构，每个结点的话都会负责某一部分的参数更新。 然后通过这样的话一轮一轮迭代下去，最终收敛来把这个模型给训练好。
真实应用
实现以图搜图功能
优势
- 利用原有的spark 集群做深度学习不需要做硬件上的更改
- 在sprak集群上达到比GPU更好的性能
第二章 在腾讯云上搭建Analytics Zoo 环境
分为三个步骤
- 安装Analytics-Zoo
- 启动Analytics-Zoo教程服务
- 浏览Analytics Zoo教程
安装Analytics-Zoo
使用云服务器
从镜像市场中选择Analytics-Zoo镜像
选择镜像后完成服务器配置即可
启动Analytics-Zoo教程服务
- 登录实例
- 浏览当前目录(ls)
- 启动Analytics-Zoo教程服务
- ./start-zoo-jupyter.sh
- 检查服务是否启动
- sudo docker ps
- sudo docker logs [containerId]
浏览Analytics Zoo教程
查找实例公网IP
打开Analytics-Zo服务教程
获得IP之后
浏览器打开Web前端：http://[IP]:12345 输入Token：1234qwer
Token 修改
vi ./start-zoo-jupyter.sh 
浏览各Analytics-Zoo应用教程
内置应用教程
试验Analytics-Zoo教程
物体检测教程实例
第三章 创建基于的Analytics-Zoo的AI应用
新建一个Notebook
创建及运行mnist手写数字识别的应用
具体代码请查看github链接 github.com/intel-analytics/analytics-zoo
创建，训练，推理
课程评价(0)
以下选自学员评价
课程学习交流
请扫码关注腾讯产业互联网学堂微信公众号