2017年12月22日，袁进辉（老师木）代表OneFlow团队在全球互联网架构大会上海站做了《深度学习平台技术演进》的报告，小编对报告内容作简要梳理注解，以飨读者。...此次报告的主要观点为：（1）计算力是神经网络/深度学习复兴的最大推动力之一；（2）面对深度学习的计算力挑战，软件至少和硬件一样地关键，单靠硬件无法提供易用性和扩展性；（3）鉴于深度学习上层业务和底层硬件的独特性...，传统大数据平台里的某些技术未必再对深度学习平台适用；（4）深度学习软件平台技术在快速演进中，一部分早期被采用的技术正在被新方法替代；（5）仍有很多重要问题未被现有开源深度学习平台解决；（6）深度学习软件尚处在发展早期...注：深度学习在近些年带来的突破无须赘言，从图像 (ImageNet) ，语音，围棋人机大战等方面的突破都源于深度学习技术。 注：机器学习可以视为一种从训练数据中自动推导出程序的方法。...深度学习就是这种思想的一个典型应用。 注：深度学习从计算上体现为一连串的变换（transformation），常见的变换都可以表示成矩阵计算。
我在六年前的一个令人兴奋的时刻加入到LinkedIn公司。从那个时候开始我们就破解单一的、集中式数据库的限制，并且启动到特殊的分布式系统套件的转换。这是一件令人...
Keras是一个Python深度学习库，它可以使用高效的Theano或TensorFlow符号数学库作为后端。...在这篇文章中，会为你推荐可以提问，并在Keras的深度学习模式中能得到帮助的9个平台。 ? 如何最好地利用这些资源 知道在哪里获得帮助是第一步，但是你需要知道如何从这些资源中获得更大的帮助。...在这个网站上面有许多关于深度学习和Keras的问题。我建议搜索并询问带有“Keras”标签的问题。地址：Keras tag on StackOverflow 5.CrossValidated ?...CrossValidated的“Keras”标签 CrossValidated是一个专门用于机器学习的问答网站。...尽管这个网站什么样类型的问题都有，但在技术方面也是有很多值得一看的内容，包括Keras和深度学习。这些问题的焦点更基于文本和说明性。你可能从中会获得更多关于技术方面的细节，而不是实现细节。
本文来自IBC2020，介绍了一篇论文，这篇文章介绍了一种称为SUPERNOVA的解决方案，该解决方案由基于深度学习的方法组成，可以大大提高低质量媒体内容的质量。...从本世纪10年代中期开始，基于深度学习的方法已应用于计算机视觉和媒体处理领域，以提高质量，但这需要大量的GPU计算能力，随着GPU成本逐渐降低，深度学习网络的复杂性将会逐渐增加。...近期IBC发布的一篇论文提出了一种名为“ SUPERNOVA”的解决方案，该平台使用基于深度学习的媒体处理方法来提高媒体内容的视觉质量。...媒体内容可以通过API传递到SUPERNOVA平台，或者可以在当前具有GPU的本地计算机中选择性地实现SUPERNOVA中的一种方法。...当前的SUPERNOVA平台包含上采样模块（也称为超分辨率），HFR模块（高帧率）和重新定向模块。这些模块都具有深度神经网络，且网络具有可升级的超参数集。
摘要 深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。...机器学习与深度学习应用 机器学习是通过机器进行自主学习数据而非以编码的方式；深度学习是机器学习的一个分支，主要包括四种最基本的网络结构。 CNN是卷积神经网络。...用户可以通过这个平台起一个RPC服务，他的手机或业务服务器能够直接调用这个服务。我们还提供了Model Zoo以及RPC客户端的一些功能。 这是深度学习平台的基本架构。...Cloud-ML：Wrap-Up 在有深度学习平台以后，工作流是这样的。上面是工作环境，云端有服务器和基础架构维护的服务。...总结 今天主要给大家分享了深度学习的应用，以及在思考做一个深度学习平台之后，我们的考虑和架构设计，希望能给大家带来一些帮助。
为了方便算法工程师使用各类深度学习技术，减少繁杂的诸如运行环境部署运维等工作，提升GPU等硬件资源利用率，节省硬件投入成本，奇虎360系统部大数据团队与人工智能研究院联合开发了深度学习调度平台——XLearning...XLearning平台将大数据与深度学习相融合，基于Hadoop Yarn完成了对TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用深度学习框架的集成...XLearning从今年（2017）4月份正式开发上线运行，经多次版本迭代更新，为各学习框架的使用者提供了统一、稳定的调度平台，实现了资源共享，极大的提高了资源利用率，并且具有良好的扩展性和兼容性。...支持多种深度学习框架 XLearning支持TensorFlow、MXNet分布式和单机模式，支持所有的单机模式的深度学习框架，如Caffe、Theano、PyTorch等。...对于同一个深度学习框架支持多版本和自定义版本，满足用户个性化需求，不受限于集群机器上各学习框架的安装版本。
想必每个学习深度学习的小伙伴，特别是新手小白，总要为找到以及调试一个适合的gpu云主机煞费苦心。不知道大家有没有经历过，用自己的显卡计算时，每出一个结果，就能听到显卡”兹”的一声，仿佛在向我哀嚎。...其实深度学习最好，最经济的训练方式就是在云端，找个GPU的机器，安装搭建环境进行训练，这也是我之前做项目和使用的方式，但对于深度学习的研究者，开发者来说，不太希望花费太多的时间在驱动安装，环境配置，包依赖处理这些琐碎的方面...下面的部分给大家快速介绍与喜爱如何使用Floyd进行深度学习训练。...在项目初始化完毕的时候，那么我们就可以在远端的平台上train这个项目了，floyd支持多个不同的深度学习框架，多个版本，另外也支持CPU和GPU，在本例中我使用Tensorflow，而且最新版本1.3...从整个过程来看，使用Floyd进行深度学习训练不需要自己准备和搭建环境，还是非常方便的，而且也提供了很多例子，共初学者快速的上手，比如下面这个风格迁移的例子，大家可以自己尝试： ?
在线预订平台Airbnb拥有超过500万的房源，以及成千上万的旅游，徒步旅行和其他旅行体验。这些需要大量的筛选，Airbnb公司认为AI可以伸出援助之手。...该报告紧随Airbnb的内部AI系统，将设计草图转化为产品源代码，以及机器学习驱动的语言系统，将列表评论翻译成客人的母语。 “搜索排名应用程序是Airbnb最大的机器学习成功案例之一。...第二个采用LambdaRank，一种应用有监督机器学习来解决排名问题的算法，而最终模型深度神经网络（DNN），考虑了大约195个特征，包括价格，设施和历史预订计数；启用Airbnb智能定价功能的商家信息的价格...研究人员写道：“在无处不在的深度学习成功故事中，我们开始处于乐观的高峰期，认为深度学习将成为GBDT模型的替代品，并为我们带来惊人的收益。...很多初步的讨论都围绕着保持其他一切不变，并用神经网络取代现有的模型来看看我们可以获得什么样的收益，随着时间的推移，我们意识到转向深度学习并不是替代模型，而是关于扩展系统。
FfDL 是 IBM 的深度学习平台，它能将 TensorFlow，Caffe，PyTorch 做为 Kubernetes 的服务提供给开发者。...该库包含了 FfDL 平台的核心服务，FfDL是深度学习的操作系统「结构」。...FfDL是一个协作平台： 开放的深度学习 API 常用的工具 在用户的私有云或公共云中运行深度学习托管 在分布式硬件上独立于框架训练的深度学习模型 ?...1.用 Minikube 安装 如果你的设备上有 Minikube，用以下指令来部署 FfDL 平台 export VM_TYPE=minikube make minikube make deploy...2.用 Kubernetes 集群安装 要将 FfDL 安装到适当的 Kubernetes 集群，请确保 kubectl 指向正确的 namespace，然后部署平台服务： export VM_TYPE
微软发布了 Project Brainwave，一个基于 FPGA 的低延迟深度学习云平台。...Project Brainwave 的系统可分为三个层面：高性能分布式系统架构；整合到 FPGA 硬件上的深度神经网络（DNN）引擎；能 low-fricTIon 部署已训练模型的编译器和 runTIme...第二，我们可以把研究创新快速整合到硬件平台设计——通常是几个星期，这在快速发展的领域特别必要。作为结果，我们实现了不弱于这些硬编码 DPU 芯片的性能。...第三点，Project Brainwave 内置了一个能支持各种深度学习框架的软件堆。
摘要 人工智能与深度学习已经成为一个众所周知的概念，然而如何将深度学习技术落地到具体的业务场景却是一个比较模糊的事情。...嘉宾演讲视频及PPT链接：http://suo.im/4bWxm5 2012年始深度学习长足发展 通过我们与客户的交流，大家其实已经对深度学习这个概念越来越关注了。...同时也发现了一个比较困难的问题，就是怎样将深度学习落地。这对于企业来说是一个最大的问题。...深度学习并不是一个新的概念，这个概念背后的技术其实在五六十年代已经出现了，而直到2012年才逐渐走入大众视野。 深度学习的优势 深度学习具有多层复杂特征的提取优势。...TensorFlow脱颖而出 使用深度学习一定要选择一个工具。99%的深度学习用户仅仅只是想使用深度学习，并不想了解其中的模型、算法等等，只想用深度学习来解决自己的问题。
报告包括深度学习的计算力问题、硬件基础、软件挑战、传统大数据架构、深度学习软件平台的技术演化等。...，传统大数据平台里的某些技术未必再对深度学习平台适用；（4）深度学习软件平台技术在快速演进中，一部分早期被采用的技术正在被新方法替代；（5）仍有很多重要问题未被现有开源深度学习平台解决；（6）深度学习软件尚处在发展早期...值得注意的是，深度学习软件平台具有极高的技术门槛，鲜有初创公司进入这个领域。...分布式深度学习平台，或者显式或者隐式的，都采用了去中心化调度机制。...理想的情况，这些复杂性应该由深度学习平台来处理，但非常可惜，现有已开源的深度学习平台都不支持这一功能。 注：本页描述了前后两层分别是数据并行和模型并行的场景，后向计算时的数据路由方法。
微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。 深度学习平台介绍 人工智能和深度学习 人工智能为机器赋予人的智能。...百度深度学习平台 百度深度学习平台是一个面向海量数据的深度学习平台，基于PaddlePaddle和TensorFlow开源计算框架，支持GPU运算，为深度学习技术的研发和应用提供可靠性高、扩展灵活的云端托管服务...微博深度学习平台架构和实践 微博深度学习平台是微博机器学习平台的重要组成部分，除继承微博机器学习平台的特性和功能以外，支持TensorFlow、Caffe等多种主流深度学习框架，支持GPU等高性能计算集群...微博深度学习平台架构如图1所示。 图1 微博深度学习平台架构 下面将以机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等典型模块为例，介绍微博深度学习平台的实践。...总结 本文介绍了深度学习框架和平台的概念和特征，基于微博深度学习平台深入探讨了深度学习平台的设计思考和技术架构。
深度学习的起源 深度学习（Deep Learning）是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。...深度学习的概念源于人工神经网络的研究。...深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。含多隐层的多层感知器就是一种深度学习结构。...深度学习正是希望通过模拟人脑多层次的分析方式来提高学习的准确性。...深度学习的动机 学习基于深度架构的学习算法的主要动机是： ①不充分的深度是有害的； 在许多情形中深度2就足够(比如logicalgates, formal[threshold] neurons
Data Science Central 近日发文对这三个平台进行了比较和盘点，机器之心对该文做了编译介绍。 阻碍我们使用深度学习方法的原因有很多，其中最主要的是深度学习方法很复杂和困难。...2018 年才刚过去 4 个月，我就看到了三种旨在简化深度学习以让任何人（至少是任何数据科学家）都能使用该技术的不同平台。...OneClick.AI 链接：https://www.oneclick.ai OneClick.AI 是 2017 年底出现在市场上的一个自动化机器学习（AML）平台，其中既包括传统的算法，也包括深度学习算法...对于这样一个提供了如此复杂的工具和技术的平台而言，它保持了「一键出模型」的简单易用性——我认为这是自动化机器学习的最低要求，但也包括自动化深度学习。...他们用于优化深度学习模型的方法是专有的，但该公司的创始人兼 CEO Yuan Shen 描述说他们是用 AI 训练 AI——可能是一种深度学习优化方法。 哪个平台更好？
深度学习技术往往比较复杂，从头开发的难度较大，但现在有一些公司提供了能帮助开发者轻松使用深度学习的自动化深度学习（ADL）平台，比如微软的 CustomVision.AI、谷歌的 Cloud AutoML...Data Science Central 近日发文对这三个平台进行了比较和盘点，机器之心对该文做了编译介绍。 阻碍我们使用深度学习方法的原因有很多，其中最主要的是深度学习方法很复杂和困难。...2018 年才刚过去 4 个月，我就看到了三种旨在简化深度学习以让任何人（至少是任何数据科学家）都能使用该技术的不同平台。...对于这样一个提供了如此复杂的工具和技术的平台而言，它保持了「一键出模型」的简单易用性——我认为这是自动化机器学习的最低要求，但也包括自动化深度学习。...他们用于优化深度学习模型的方法是专有的，但该公司的创始人兼 CEO Yuan Shen 描述说他们是用 AI 训练 AI——可能是一种深度学习优化方法。 哪个平台更好？
文/张伟德，曲宁，刘少山 导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA...在过去两年，百度深度学习实验室在徐伟的带领下开发了分布式深度学习平台PADDLE（Parallel Asynchronous Distributed Deep Learning），很好地满足了许多业务需求...现有的深度学习平台，一般都是通过单机方式进行训练，如开源的Caffe平台也是通过单机多卡的方式进行训练。...PADDLE与业务逻辑结合的痛点 PADDLE是一个独立的深度学习平台，不能很好地支持把数据从其他平台接入的需求。...总结 本文介绍了百度基于Spark的异构分布式深度学习系统。把Spark与深度学习平台PADDLE结合起来解决了PADDLE与业务逻辑间的数据通路问题，使业务方可以很容易地使用深度学习技术。
第二， 众所周知，可靠的数据加载需要数据通道的深度支持。
机器之心专栏 来源：百度PaddlePaddle PaddlePaddle 是 2016 年 8 月底百度开源的深度学习平台，并且在短时间内迅速引发全球开发热度，成为 Github Pull Request...数量增速极高的开源深度学习平台之一。...深度学习基础架构是最快速发展的技术之一，在四年之内，已经发明了三代技术。从下表可以看出，深度学习技术架构设计的方向正是逐渐摆脱模型的。 ?...都需要大规模深度学习计算能力的。...比如网络开销较高的时间段内深度学习任务少运行，在网络流量较低时优先进行深度学习任务。这就需要了解全局的情况，并协调与各种工作有关的进程的数量。
机器之心发布 机器之心编辑部 近日，权威数据调研机构 IDC 发布 2021 年上半年深度学习框架平台市场份额报告。调研显示，百度在中国深度学习平台市场中的综合份额持续增长，跃居第一。...人工智能正在进入大规模落地阶段，越来越多的开发者和企业基于深度学习平台构建、训练和部署智能应用。通过此次 IDC 报告可以看到，百度的深度学习平台建设已走在世界前列。...作为我国首个自主研发、功能丰富、开源开放的产业级深度学习平台，飞桨通过持续的技术创新突破、产业人才赋能、社区生态共建，获得了市场广泛认可。...作为源于产业实践的深度学习开源开放平台，飞桨一直致力于降低门槛，满足不同行业、不同阶段、不同层次开发者的需求。...飞桨具备开发便捷的深度学习框架、超大规模深度学习模型训练技术、多端多平台部署的高性能推理引擎、产业级开源模型库四大领先技术。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
