谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow,7项指标排名第一。
选自arXiv 作者:吴育昕、何恺明 机器之心编译 自 Facebook 在 2017 年 6 月发布 1 小时训练 ImageNet 论文以来,很多研究者都在关注如何使用并行训练来提高深度学习的训练速度,其研究所使用的批尺寸也呈指数级上升。近日,FAIR 研究工程师吴育昕、研究科学家何恺明提出了组归一化(Group Normalization)方法,试图以小批尺寸实现快速神经网络训练,这种方法对于硬件的需求大大降低,并在实验中超过了传统的批归一化方法。 批归一化(Batch Norm/BN)是深度学习中非
2018 年 12 月,英伟达在加拿大蒙特利尔 NeurIPS 大会上发布最新款产品 Titan RTX,作为 2017 年 Titan V 的「继承者」,Titan RTX 价格更低,显存更大,性能更强,且使用图灵架构,具备强大的光线追踪能力。因此,Titan RTX 的发布对 AI 社区而言,是不是做深度学习的一个不错选择呢?
11月9日Google发布了第二代深度学习引擎TensorFlow,引起业内广泛关注。发布后业内人士热议的一个话题是:这个引擎能否成为Google所说的平台级产品,它的基准测试究竟怎么样? Soumith 在 Github 做基准测试,在 Google TensorFlow 发布后,Soumith 很快发布了关于 TensorFlow 的基准测试报告。 【Soumith】GoogleTensorFlow的benchmark列在了这里。 我在Imagenet Winners上运行了benchmark测试程序。
【导读】TensorFlow.js 的发布可以说是 JS 社区开发者的福音!但是在浏览器中训练一些模型还是会存在一些问题与不同,如何可以让训练效果更好?本文的作者,是一位前端工程师,经过自己不断的经验积累,为大家总结了 18 个 Tips,希望可以帮助大家训练出更好的模型。
深度学习的加速上,除了对训练和推理过程的加速之外,还有对数据加载和预处理阶段的加速。这一阶段也尤为关键,因为数据处理 pipeline 的处理速度也影响着整体的流程效率。
TensorFlow.js 的发布可以说是 JS 社区开发者的福音!但是在浏览器中训练一些模型还是会存在一些问题与不同,如何可以让训练效果更好?本文为大家总结了 18 个 Tips,希望可以帮助大家训练出更好的模型。
总第237篇 2018年 第29篇 简介 TensorFlow是Google研发的第二代人工智能学习系统,能够处理多种深度学习算法模型,以功能强大和高可扩展性而著称。TensorFlow完全开源,所以很多公司都在使用,但是美团点评在使用分布式TensorFlow训练WDL模型时,发现训练速度很慢,难以满足业务需求。 经过对TensorFlow框架和Hadoop的分析定位,发现在数据输入、集群网络和计算内存分配等层面出现性能瓶颈。主要原因包括TensorFlow数据输入接口效率低、PS/Worker算子分
英特尔(Intel)上周就这么做了,将两款最昂贵的cpu与英伟达(NVIDIA) gpu的推理性能进行了比较。
【新智元导读】11月10日,是谷歌大脑团队开源TensorFlow一周年的纪念日。在过去的一年中,TensorFlow发展迅速,已经成为Github上最受欢迎的机器学习项目。本文盘点了新智元在过去一年对TensorFlow所做的重要报道,带你回顾TensorFlow一年成绩。 (文/Zak Stone)Google 大脑团队开源 TensorFlow 的一年,是发生了许多大事件、非常重要的一年。 TensorFlow 的开源旨在促进机器学习研究、让每个人都能更好地利用技术。这一年来,有超过480人直接为Te
项目链接:https://github.com/ajbrock/BigGAN-PyTorch 该项目一出即引发了人们的广泛关注,有的人表示不敢相信,也有人哭晕在 Colab。
转载翻译Medium上一篇关于分布式深度学习框架的文章 https://medium.com/@mlblogging.k/9-libraries-for-parallel-distributed-training-inference-of-deep-learning-models-5faa86199c1fmedium.com/@mlblogging.k/9-libraries-for-parallel-distributed-training-inference-of-deep-learning-models-5faa86199c1f
AI科技评论按:近日,FAIR 研究工程师吴育昕和研究科学家何恺明联名著作的一篇论文 Group Normalization 提到了一种新的训练神经网络的方法。该方法称为群组归一化(Group Normalization),试图以群组方式实现快速训练神经网络,这种方法对于硬件的需求大大降低,并在实验中超过了传统的批量归一化方法。 批量归一化和群组归一化 批量归一化(Batch Normalization,以下简称 BN)是深度学习发展中的一项里程碑式技术,可让各种网络并行训练。但是,批量维度进行归一化会带来
AI科技评论按:本文是介绍用TensorFlow构建图像识别系统的第三部分。 在前两部分中,我们构建了一个softmax分类器来标记来自CIFAR-10数据集的图像,实现了约25-30%的精度。 因为有10个不同可能性的类别,所以我们预期的随机标记图像的精度为10%。25-30%的结果已经比随机标记的结果好多了,但仍有很大的改进空间。在这篇文章中,作者Wolfgang Beyer将介绍如何构建一个执行相同任务的神经网络。看看可以提高预测精度到多少!AI科技评论对全文进行编译,未经许可不得转载。 关于前两部分
本文介绍了TensorFlow的发展历史、生态系统、基本概念、原理、实战案例、性能测试、与其他框架的对比以及未来的发展方向。作者希望通过对TensorFlow的深入剖析,使读者能够快速掌握TensorFlow的核心思想和功能。
本系列我们开始分析 TensorFlow 的分布式。之前在机器学习分布式这一系列分析之中,我们大多是以 PyTorch 为例,结合其他框架/库来穿插完成。但是缺少了 TensorFlow 就会觉得整个世界(系列)都是不完美的,不单单因为 TensorFlow 本身的影响力,更因为 TensorFlow 分布式有自己的鲜明特色,对于技术爱好者来说是一个巨大宝藏。
去年 10 月,谷歌才发布了 TensorFlow 2.0 正式版。时隔三个月后,昨日官方发布了 TensorFlow 2.1,本次版本更新带了了多项新特性、功能改进和 bug 修复。
TensorFlow概要 Google第一代分布式机器学习框架DistBelief1,在内部大规模使用后并没有选择开源。而后第二代分布式机器学习系统TensorFlow2终于选择于2015年11月在GitHub上开源,且在2016年4月补充了分布式版本,并于2017年1月发布了1.0版本的预览,API接口趋于稳定。目前TensorFlow仍处于快速开发迭代中,有大量新功能及性能优化在持续研发。TensorFlow最早由Google Brain的研究员和工程师开发,设计初衷是加速机器学习的研究,并快速地
【新智元导读】文本将介绍一些 TensorFlow 的操作技巧,旨在提高你的模型性能和训练水平。文章将从预处理和输入管道开始,覆盖图、调试和性能优化的问题。 预处理和输入管道 保持预处理干净简洁 训练一个相对简单的模型也需要很长时间?检查一下你的预处理!任何麻烦的预处理(比如将数据转换成神经网络的输入),都会显著降低你的推理速度。对于我个人来说,我会创建所谓的“距离地图”(distant map),也就是用于“深层交互对象选择”的灰度图像作为附加输入,使用自定义python函数。我的训练速度最高是每秒大约处
【新智元导读】谷歌日前推出深度学习动态图计算工具 TensorFlow Fold,可以根据不同结构的输入数据建立动态的计算图,简化训练阶段输入数据的预处理过程,提升系统运行效率。为了方便大家了解 TensorFlow Fold 的特性,本文将会为大家厘清有关动态图计算的一些概念,对比介绍 DyNet、PyTorch 和 TensorFlow 等框架的特性,重点讲解TensorFlow Fold 的核心算法和接口。 随着深度学习的发展,深度学习框架之间竞争也日益激烈,新老框架纷纷各显神通,想要在广大 Deep
本文为你分享Google产品经理关于机器学习工具的讲座概要。 最近,Google Brain员工,TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座,谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。同时,他还暗示了一些还未向公众披露的exciting的事儿。 讲座的题目叫“Tensor Flow, Cloud TPUs, and ML progress”,以
王瀚宸 编译自 South Park Commons博客 量子位 报道 | 公众号 QbitAI 最近,Google Brain员工,TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座,谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。同时,他还暗示了一些还未向公众披露的exciting的事儿。 讲座的题目叫“Tensor Flow, Cloud TPUs,
来源 |量子位(QbitAI) 整理 |苏锋 编者按: 目前,一大批科技巨头和创业公司将目光聚集在可进行自主深度学习的AI身上。无人驾驶汽车、机器人医生、机器投资者等产品或概念越来越热。普华永道认为,到2030年,AI将会向世界经济贡献15.7万亿美元。“AI”是2017年的热词,就像“.com”是1999年的时髦用语那样,每一个人都宣称自己对AI感兴趣。但是,AI的深度学习框架是存在漏洞的,这些漏洞可能导致的隐患你是否清楚? “注意!你的深度学习框架有漏洞!” 这个警告来自360安全实验室(Qixue X
有了能做出惊人预测的模型之后,要做什么呢?当然是部署生产了。这只要用模型运行一批数据就成,可能需要写一个脚本让模型每夜都跑着。但是,现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据,这种情况需要将模型包装成网络服务:这样的话,任何组件都可以通过REST API询问模型。随着时间的推移,你需要用新数据重新训练模型,更新生产版本。必须处理好模型版本,平稳地过渡到新版本,碰到问题的话需要回滚,也许要并行运行多个版本做AB测试。如果产品很成功,你的服务可能每秒会有大量查询,系统必须提升负载能力。提升负载能力的方法之一,是使用TF Serving,通过自己的硬件或通过云服务,比如Google Cloud API平台。TF Serving能高效服务化模型,优雅处理模型过渡,等等。如果使用云平台,还能获得其它功能,比如强大的监督工具。
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。
生成器试图找到最好的图像来欺骗鉴别器。当两个网络互相对抗时,“最佳”图像不断变化。但是,优化可能会变得过于贪心,使其陷入永无止境的猫捉老鼠游戏中。这是模型不收敛和模式崩溃的原因之一。
在这个社会全面数字化转型的时代,人们对于计算机算力的需求越来越大,对于日常使用的主力办公笔记本也是要求越来越全面,尤其像笔者这样的编程一族,今年一季度酷睿12代系列处理器的推出,堪称是我们程序员+游戏党的福音。
关键词:Python,tensorflow,深度学习,卷积神经网络 正文如下: 前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络,并把其PPT的参考学习资料给了我们, 这是codelabs上的教程:《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python,教程推荐使用pytho
本教程将手把手地带你了解如何训练一个Transformer语言模型。我们将使用TensorFlow框架,在英文Wikipedia数据上预训练一个小型的Transformer模型。教程涵盖数据处理、环境配置、模型构建、超参数选择、训练流程等内容。
【新智元导读】谷歌官方博客最新发布TensorFlow Fold,通过为每个输入构建单独的计算图解决由于输入的大小和结构不同导致的问题。此外,通过动态批处理,实现了在 CPU上增速10倍以上,在GPU
深度学习还没学完,怎么图深度学习又来了?别怕,这里有份系统教程,可以将0基础的你直接送到图深度学习。还会定期更新哦。
到目前为止,我们已选择了预训练模型,找到了现成数据集,也创建了自己的数据集,并将其转换为TFRecord文件。 接下来,我们开始训练模型。
选自arXiv 机器之心编译 参与:吴攀、蒋思源、李亚洲 初学者在学习神经网络的时候往往会有不知道从何处入手的困难,甚至可能不知道选择什么工具入手才合适。近日,来自意大利的四位研究者发布了一篇题为《神经网络初学者:在 MATLAB、Torch 和 TensorFlow 中的快速实现(Neural Networks for Beginners A fast implementation in Matlab, Torch, TensorFlow)》的论文,对 MATLAB、Torch 和 TensorFlow
在深度学习里面有句名言,数据决定深度应用效果的上限,而网络模型与算法的功能是不断逼近这个上限。由此也可以看出数据的重要程度。
美团内部深度定制的TensorFlow版本,基于原生TensorFlow 1.x架构与接口,从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中,分布式扩展性提升10倍以上,单位算力性能也有显著提升,并在美团内部业务中大量使用,本文介绍了相关的优化与实践工作。
选自GitHub 作者:Xingdong Zuo 机器之心编译 参与:吴攀 《价值迭代网络(Value Iteration Networks)》是第 30 届神经信息处理系统大会(NIPS 2016)的最佳论文奖(Best Paper Award)获奖论文,机器之心曾在该论文获奖后第一时间采访了该论文作者之一吴翼(Yi Wu),参见《独家 | 机器之心对话 NIPS 2016 最佳论文作者:如何打造新型强化学习观?(附演讲和论文)》。吴翼在该文章中介绍说: VIN 的目的主要是解决深度强化学习泛化能力较弱的
本书的这一部分将为您简要概述 TensorFlow 2.0 中的新增功能,与 TensorFlow 1.x 的比较,惰性求值和急切执行之间的差异,架构级别的更改以及关于tf.keras和Estimator的 API 使用情况。
安装虚拟环境:为了隔离依赖并防止与其他Python项目冲突,最好为ChatGPT开发创建一个虚拟环境。
在传统软件工程中,程序问题(即Bugs)会导致程序崩溃,但开发人员可以通过检查错误来了解原因。
来源:https://zhuanlan.zhihu.com/p/25216368
随着人工智能的高速发展,开发者们对于能够应对产品多样化挑战的学习框架TensorFlow,也有着很高的热情。除了各类科技产品,零售行业也同样将TensorFlow运用于大规模的深度学习中。
其中包括GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型(Mixture of Experts,MoE)等非常具体的参数和信息。
从头开始训练一遍当今最强的语言AI需要多久?现在,这个时间从三天三夜,一下缩短到一个多小时!
首先Keras中的fit()函数传入的x_train和y_train是被完整的加载进内存的,当然用起来很方便,但是如果我们数据量很大,那么是不可能将所有数据载入内存的,必将导致内存泄漏,这时候我们可以用fit_generator函数来进行训练。
“ 随着人工智能的高速发展,开发者们对于能够应对产品多样化挑战的学习框架TensorFlow,也有着很高的热情。除了各类科技产品,零售行业也同样将TensorFlow运用于大规模的深度学习中。 在这篇文章中,来自可口可乐公司数据侠Patrick Brandt,就将为我们介绍如何使用AI和TensorFlow实现无缝式购买凭证。 可口可乐的核心忠诚度计划于2006年以MyCokeRewards.com形式启动。 “MCR.com”平台包含为每一瓶以20盎司规格销售的可口可乐、雪碧、芬达和动乐产品,以及可以在杂
前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络,并把其PPT的参考学习资料给了我们, 这是codelabs上的教程:《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python,教程推荐使用python3。 好多专业词太难译了,查了下,大家有些都是不译的。 比如:dropou
关于Keras中,当数据比较大时,不能全部载入内存,在训练的时候就需要利用train_on_batch或fit_generator进行训练了。
领取专属 10元无门槛券
手把手带您无忧上云