首页
学习
活动
专区
工具
TVP
发布
您找到你想要的搜索结果了吗?
是的
没有找到

深度学习平台技术演进

2017年12月22日,袁进辉(老师木)代表OneFlow团队在全球互联网架构大会上海站做了《深度学习平台技术演进》的报告,小编对报告内容作简要梳理注解,以飨读者。...此次报告的主要观点为:(1)计算力是神经网络/深度学习复兴的最大推动力之一;(2)面对深度学习的计算力挑战,软件至少和硬件一样地关键,单靠硬件无法提供易用性和扩展性;(3)鉴于深度学习上层业务和底层硬件的独特性...,传统大数据平台里的某些技术未必再对深度学习平台适用;(4)深度学习软件平台技术在快速演进中,一部分早期被采用的技术正在被新方法替代;(5)仍有很多重要问题未被现有开源深度学习平台解决;(6)深度学习软件尚处在发展早期...注:深度学习在近些年带来的突破无须赘言,从图像 (ImageNet) ,语音,围棋人机大战等方面的突破都源于深度学习技术。 注:机器学习可以视为一种从训练数据中自动推导出程序的方法。...深度学习就是这种思想的一个典型应用。 注:深度学习从计算上体现为一连串的变换(transformation),常见的变换都可以表示成矩阵计算。

76870

联邦学习与云原生联邦学习平台

在近日GDG举办的“AI 隐私保护:探索跨域数据的安全流动”活动中,VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟,分享了云原生联邦学习平台的题目...回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据,但数据的现状并不理想,存在数据孤岛、数据分布不均的问题。...为了解决数据方面的问题,有三种常见的解决方案:生成式对抗网络、迁移学习和联邦学习,此处重点讲解联邦学习。 联邦学习和传统的机器学习相比,传统的机器学习是模型不动、数据动;而联邦学习是数据不动、模型动。...FATE (Federated AI Technology Enabler) 是托管在 Linux Foundation 的开源的,面向生产的联邦学习平台。...KubeFATE 是一个云原生联邦学习平台,具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目,是 Kubeflow 联邦学习方案。

70560

腾讯 AngelFL 联邦学习平台揭秘

本文系统的介绍了联邦学习的发展历程以及业界情况,并重点介绍了TEG数据平台部研发的AngelFL联邦学习的技术特点,尤其在真正业务场景中落地时的探索和技术上的考量。...AngelFL联邦学习平台 业务需求 AngelFL联邦学习的发展,主要来自业务需求的驱动。...整个平台构建在Angel智能学习平台的基础之上,Angel 已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务,随着广泛的应用,在保护数据隐私的前提下,联合多方数据建模的需求日益凸显。...整个系统以 Angel 的高维稀疏训练平台作为底层,抽象出“算法协议”层,供实现各种常见机器学习算法。...说明:AngelFL联邦学习平台构建在 Angel 之上,其核心组件是 Angel-PS 参数服务器。

3.5K30

Snapaper Platform | 学习资源分享平台

附属 Snapaper 的学习相关产品,主要是视频的内容付费,也包含文章内容。基于WP,准备建立以PGC为主UGC为辅的资源分享社群。...技术方面 主要涉及到的难点是: 支付接口开发和使用 视频资源上传与权限配置 支付方面,我用上了支付宝和微信支付前段时间申请好的接口,顺便借这个机会了解和学习了一些支付平台的网站支付的开发。...支付宝大概是: 配置接口认证信息和异步&同步回调地址 发送请求到平台接口 客户端跳转支付界面 支付成功 客户端回调到同步地址 平台POST返回异步地址 同步地址展示支付状态信息并跳转原网站 异步地址处理业务逻辑...微信大概是: 配置接口认证信息和异步回调地址 发送请求到平台接口 客户端展示生成的二维码 开始循环请求支付状态 状态改变,支付成功 客户端跳转到原网站 平台POST返回异步地址 异步地址处理业务逻辑...目前我通过订单号字符串分割(如用户、文章等)与平台返回的敏感信息(如金额、时间等)相结合来处理业务逻辑。

29120

机器学习平台的演进史

第二代机器学习平台侧重于模型:重点是快速创建和跟踪实验,以及部署、监控和理解模型。 第三代机器学习平台侧重于数据:重点是特征和标签的构建以及机器学习工作流的自动化。...这三类机器学习平台并没有绝对的优劣,对于企业而言,也不一定一开始就要选择第三代机器学习平台,凡事都要有一个演进的过程。...如果说草创阶段,大可以选择第一代机器学习平台,先让机器学习应用于业务,产生业务价值;然后再引入第二代机器学习平台让机器学习模型能快速且自动化的应用于业务。...目前的第二代机器学习平台在很多企业开始使用,并且由一些专门做企业 AI 的开发商完成第二代机器学习平台的搭建。...第三代机器学习平台是因为 AI 算法已经足够成熟了,只需要像平台提供一些训练数据就可以让平台完成一次机器学习模型的训练和部署到生产环境。

2.2K30

平台工程:从 Kubernetes API 学习

从 Kubernetes 的流行及其 API 学习。 译自 Platform Engineering: Learning From The K8s API 。...本文所要表达的思想,其实已经在 crossplane 这些框架上已经体现了,Kubernetes 本身就是一个很好的平台工程的控制层面基础平台。...开发者被要求掌握越来越多知识,提高了他们使用开发平台的认知复杂度。Heroku这样的平台深受开发者喜爱就不难理解了!它们通过简化部署做得非常出色。...正如《Building a Successful SRE Team》一文中讨论的,专注于自助服务对扩展平台团队至关重要。...作为平台团队,你是否想编写抽象以确保服务团队创建的资源的一致性?你是否想提供明智的、固执己见的默认值?你是否想管理依赖关系的单一集合升级?

2010

Facebook 的应用机器学习平台

Facebook产品或服务使用的机器学习算法。 C.Facebook内部“机器学习作为服务” Facebook有几个内部平台和工具包,目的是简化在Facebook产品中利用机器学习的任务。...Facebook大多数的机器学习训练通过FBLearner平台完成。这些工具和平台协同工作的目的是提高机器学习工程师的生产力,并帮助他们专注于算法的创新。 ? Facebook机器学习流和架构。...Caffe2是Facebook的内部训练和部署大规模机器学习模型的框架。Caffe2关注产品要求的几个关键的特征:性能、跨平台支持,以及基本的机器学习算法。...不同服务的机器学习训练平台、频率、持续时间。 计算类型和位置 在GPU进行训练:Lumos, Speech Recognition、Language Translation。...对于机器学习应用程序,这提供了一个充分利用分布式训练机制的机会,这些机制可以扩展到大量的异质资源(例如不同的CPU和GPU平台,具有不同的RAM分配)。

2.2K50

java三大平台介绍,选择哪个平台学习java编程?

博主介绍: CSDN、头条、知乎等平台优质博主,全网粉丝2w+ ----   眼见为实,前面的文章洋洋洒洒几千字介绍了JAVA的历史和学习方法,但是都只是在字面上,我们也没有看到一个真正的JAVA程序运行需要经过哪些步骤...选择哪个平台学习 三大平台各有特点,但是共同点都是平台内部包含了JAVA 虚拟机,编译好的程序在平台执行的流程大致如下:虚拟机将编译好的字节码文件加载到内存,然后采用解释执行的方式执行字节码(所谓解释执行即...既然三大平台处理的方式都是大同小异,那初学者该选择哪个平台学习更好呢?...根据官方书籍和无数实践证明,初学者最好先学习JAVA SE,选用它提供的软件开发工具包-JDK,它是学习和掌握JAVA知识的最佳平台,也是学习JAVA EE和JAVA ME的基础。...至于Oracle JDK和Open JDK之间的事,要扯起来能说半天,有时间再单独开一篇文章谈谈) 下载地址: http://jdk.java.net/   注:本文演示使用JDK11版本(推荐大家学习时尽量使用

81230

机器学习平台带给QA的挑战

机器学习平台是一款集数据集、特征工程、模型训练、评估、预测、发布于一体的全流程开发和部署的工作平台。...在谈测试机器学习平台带给QA的挑战之前,先了解一下机器学习平台是什么?...即数据科学家们的日常工作流程有: 问题定义 数据收集 预处理 构造数据集 特征工程 建模、调参 部署、在线验证 循环优化 ---- 机器学习平台的主要业务 简单理解,机器学习平台就是帮助数据科学家工作变得更简单...即机器学习平台主要业务包括(如图2): ? 图2....其它 集成Jupyter Notebook 调度等等 ---- QA面临的挑战 了解了机器学习平台的主要业务功能后,谈谈机器学习平台测试过程中,QA所面临的挑战,以及在实践的所使用的应对方案。 1.

1.7K10

机器学习平台的模型发布指南

导读:近两年,各式各样的机器学习平台如雨后春笋一样出现,极大地降低了从业者的门槛。大家的关注点往往在平台如何能够高效地进行各种花样地数据预处理,如何简单易用地训练出各种模型上。但是在产出模型之后呢?...作为机器学习平台的构建者,在得到应用于不同场景、不同类型的模型后,接下来需要思考的就是模型产生价值的场景,比如: 实时预测服务:兼容不同模型,包装成用于预测的功能,进一步发布面向用户的高时效性的预测服务...所以模型发布常常碰到如下挑战: 平台往往会提供交互式的云端机器学习开发环境,供用户训练自己的模型,所以平台API需要兼容输入输出差异巨大的模型 在通过GraphDef重构模型,Weight复现参数后,作为一个图结构...api,并发布成平台服务,暴露给用户 得力于机器学习框架对运行时环境要求的一致性,平台只需要针对每种机器学习框架,把模型发布代码及依赖打包成一个Docker镜像,就能满足该框架里所有模型的发布需求...实际上,在构建机器学习平台的后期,在平台的功能点趋于稳定,各个功能的模块化日益完善的条件下,下一步必然向着更加自动化进行的,是离不开自身模型的应用的。

3.3K30

从零搭建机器学习平台Kubeflow

总的来说,Kubeflow是 google 开源的一个基于 Kubernetes的 ML workflow 平台,其集成了大量的机器学习工具,比如用于交互性实验的 jupyterlab 环境,用于超参数调整的...1.2 Kubeflow 背景 Kubernetes 本来是一个用来管理无状态应用的容器平台,但是在近两年,有越来越多的公司用它来运行各种各样的工作负载,尤其是机器学习炼丹。...1.3 Kubeflow与机器学习 Kubeflow 是一个面向希望构建和进行 ML 任务的数据科学家的平台。...下图显示了 Kubeflow 作为在 Kubernetes 基础之上构建机器学习系统组件的平台: kubeflow是一个胶水项目,它把诸多对机器学习的支持,比如模型训练,超参数训练,模型部署等进行组合并已容器化的方式进行部署...0.0.0.0代表可以外部host访问,不加的话只能本地访问 默认用户名和密码: user@example.com 12341234 只能http访问,https有问题 5 参考资料 机器学习平台

1.4K41

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券