谷歌团队 2015 年发布的 TensorFlow 框架是目前机器学习领域最流行的框架之一。虽然后起之秀 PyTorch 奋起直追，但 TensorFlow 框架的使用者仍然众多。
目前为止，我们只是使用了TensorFlow的高级API —— tf.keras，它的功能很强大：搭建了各种神经网络架构，包括回归、分类网络、Wide & Deep 网络、自归一化网络，使用了各种方法，包括批归一化、dropout和学习率调度。事实上，你在实际案例中95%碰到的情况只需要tf.keras就足够了（和tf.data，见第13章）。现在来深入学习TensorFlow的低级Python API。当你需要实现自定义损失函数、自定义标准、层、模型、初始化器、正则器、权重约束时，就需要低级API了。甚至有时需要全面控制训练过程，例如使用特殊变换或对约束梯度时。这一章就会讨论这些问题，还会学习如何使用TensorFlow的自动图生成特征提升自定义模型和训练算法。首先，先来快速学习下TensorFlow。
AI科技评论按：Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架，但由于TensorFlow最早是基于Google的需求开发的，在实际使用上也会存在如文档乱、调试难等诸多缺点，而且开发时间比较早未能及时对一些新的需求进行反应（据AI科技评论了解，由于缺乏类似PyTroch、DyNet的动态图功能，Lecun就不止一次吐槽过TensorFlow是“过时的深度学习框架”（yesterday deep learning framework）），而针对用户的需求，Google也在
Google 的 TensorFlow 是 AI 学习者中使用率最高、名气也最大的深度学习框架，但由于 TensorFlow 最早是基于 Google 的需求开发的，在实际使用上也会存在如 文档乱、调试难 等诸多缺点，而且开发时间比较早未能及时对一些新的需求进行反应（据AI研习社了解，由于缺乏类似 PyTroch、DyNet 的动态图功能，Lecun 就不止一次吐槽过 TensorFlow 是 “过时的深度学习框架”（yesterday deep learning framework）），而针对用户的需
JAX是机器学习框架领域的新生力量，尽管这个Tensorflow的竞争对手从2018年末开就已经出现，但直到最近，JAX才开始在更广泛的机器学习研究领域中获得关注。
点击上方“专知”关注获取更多AI知识! 【导读】主题链路知识是我们专知的核心功能之一，为用户提供AI领域系统性的知识学习服务，一站式学习人工智能的知识，包含人工智能（ 机器学习、自然语言处理、计算机视觉等）、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问http://www.zhuanzhi.ai, 手机端访问http://www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知，搜索主题查看。随着TensorFlow 1.4 Eager Execution
选自Nicolo Blog 作者：Nicolò Valigi 机器之心编译 参与：蒋思源 几个月前，TensorFlow 发布了梯度提升方法的调用接口，即 TensorFlow 提升树（TFBT）。不幸的是，描述该接口的论文并没有展示任何测试效果和基准的对比结果，所以 Nicolò Valigi 希望能对 TFBT 和 XGBoost 做一个简要的对比，并分析它们之间的性能差异。机器之心介绍了该测试与 TFBT 的原论文，且 TF 1.4 及以上的版本也可测试该提升树模型。 本文将先介绍 Nicolò Va
近日，Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章，其内容源自一个 GitHub 项目，其中作者通过构建同一个神经网络，对比了当前最流行的 10 种深度学习框架，其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FAIR 研究者、各大框架创始人（比如贾扬清）的支持。机器之心对该文进行了编译。 项目GitHub链接：https://github.com/i
在这一篇文章中，我们结合 Rosetta 介绍如何定制化改造 TensorFlow 前后端相关组件，以集成 MPC 等隐私计算技术，同时保留对 TensorFlow 接口 API 的复用，从而实现我们上一篇文章中所强调的“系统易用性”。
选自Medium 作者：Ilia Karmanov 机器之心编译 参与：路雪、黄小天 近日，Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章，其内容源自一个 GitHub 项目，其中作者通过构建同一个神经网络，对比了当前最流行的 10 种深度学习框架，其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FAIR 研究者、各大框架创始人（比如贾扬清）的支持。机器
来源：机器之心 本文长度为2698字，建议阅读4分钟 本文通过构建同一个神经网络，对比当前最流行的 10 种深度学习框架。 [ 导读 ]近日，Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章，其内容源自一个 GitHub 项目，其中作者通过构建同一个神经网络，对比了当前最流行的 10 种深度学习框架，其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FA
Uber近期发布了一篇文章，公开了五篇关于深度神经进化的论文，其中包括发现了遗传算法可以解决深层强化学习问题，而一些流行的方法也可替代遗传算法，如深度Q-learning和策略梯度。这项研究是Salimans等人在2017年进行的，另一种神经进化算法，即进化策略（ES）同样可以解决问题。Uber进一步阐述了以下问题：如何通过更多地探索更新智能体所带来的压力形式来改进ES；ES是如何与梯度下降联系起来的。这些研究花费巨大，通常需要720到3000个CPU，并分布在巨大，高性能的计算集群中，因此对于大多数研究人员、学生、公司和业余爱好者来说，深度神经进化研究似乎遥不可及。
选自Google Brain 作者：Asim Shankar & Wolff Dobson 机器之心编译 PyTorch 的动态图一直是 TensorFlow 用户求之不得的功能，谷歌也一直试图在 TensorFlow 中实现类似的功能。最近，Google Brain 团队发布了 Eager Execution，一个由运行定义的新接口，让 TensorFlow 开发变得简单许多。在工具推出后，谷歌开发人员 Yaroslav Bulatov 对它的性能与 PyTorch 做了横向对比。 今天，我们为 Tens
https://tensorflow.google.cn/guide/distributed_training（此文的信息是2.3版本之前）。
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
tensorflow自定义op，梯度 tensorflow 是 自动微分的，但是如果你不给它定义微分方程的话，它啥也干不了 在使用 tensorflow 的时候，有时不可避免的会需要自定义 op，官
今年初，Facebook 推出了 PyTorch 1.0，该框架集成了谷歌云、AWS 和 Azure 机器学习。学习本教程之前，你需要很熟悉 Scikit-learn，Pandas，NumPy 和 SciPy。这些程序包是使用本教程的重要先决条件。
本书的这一部分将为您简要概述 TensorFlow 2.0 中的新增功能，与 TensorFlow 1.x 的比较，惰性求值和急切执行之间的差异，架构级别的更改以及关于tf.keras和Estimator的 API 使用情况。
Horovod 是一款基于 AllReduce 的分布式训练框架。凭借其对 TensorFlow、PyTorch 等主流深度学习框架的支持，以及通信优化等特点，Horovod 被广泛应用于数据并行的训练中。
在用PyTorch或者TensorFlow搭积木的时候，你是不是也遇到过下面这些情况：
使用自定义模型类从头开始训练线性回归，比较PyTorch 1.x和TensorFlow 2.x之间的自动差异和动态模型子类化方法。
【新智元导读】微软数据科学家Ilia Karmanov做了一个项目，使用高级API测试8种常用深度学习框架的性能（因为Keras有TF，CNTK和Theano，所以实际是10种）。Karmanov希望
在机器学习框架方面，JAX是一个新生事物——尽管Tensorflow的竞争对手从技术上讲已经在2018年后已经很完备，但直到最近JAX才开始在更广泛的机器学习研究社区中获得吸引力。
TensorFlow Probability是一个构建在TensorFlow之上的Python库。它将我们的概率模型与现代硬件(例如GPU)上的深度学习结合起来。
神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或者均匀分布都是比较有效的初始化方式。 所以理想的网络参数初始化是很重要的，但是现在框架都定义了很多参数初始化方式，可以直接调用，比如tensorflow的变量初始化方式如下： initializer：是变量初始化的方式，初始化的方式有以下几种：
在本文中，您将发现Keras和tf.keras之间的区别，包括TensorFlow 2.0中的新增功能。
背景介绍 太极机器学习平台由腾讯云机智平台和tesla平台协同共建而成，太极联合团队在深度学习训练加速上有深厚的技术累积，曾两次刷新了 ImageNet 训练速度的世界记录，并发表相应论文。 为使团队沉淀的训练加速技术赋能鹅厂更多业务场景并创造更大价值，Light 训练产品应运而生。Light 是云帆Oteam基于当前社区主流深度学习框架开发的一套多机多卡深度学习训练加速框架，用户只需要做几行代码即可接入并获得高性能加速能力。 从去年开始，太极团队针对广告训练场景进行了专项的性能优化，并针对业务模型迭
No.19 CNN中，conv layer、ReLu layer、Pooling layer、Fully connected layer的区别？
选自Julia Blog 作者：Mike Innes等人 机器之心编译 任何机器学习系统复杂到一定程度，都会包含一个临时开发的、不合规范的、充满错误的、运行速度很慢的、只有一半功能的编程语言实现。（格林斯潘第十定律） 我们很高兴看到机器学习大爆发，以及机器学习模型的复杂度和用来构建模型的框架。越来越多的顶尖模型更多地涉及到编程问题，通常它们需要支持循环和递归等编程结构，这给创建它们的工具（编程语言）带来了一些有趣的问题。 尽管机器学习没有专用的语言，但有的机器学习框架（如 TensorFlow）在 Pyth
TensorFlow时谷歌于2015年11月宣布在Github上开源的第二代分布式机器学习系统，目前仍处于快速开发迭代中，有大量的新功能新特性在陆续研发中；
使用过TensorFlow的大家都会知道, TF通过计算图将计算的定义和执行分隔开, 这是一种声明式（declaretive）的编程模型. 确实, 这种静态图的执行模式优点很多,但是在debug时确实非常不方便(类似于对编译好的C语言程序调用,此时是我们无法对其进行内部的调试), 因此有了Eager Execution, 这在TensorFlow v1.5首次引入. 引入的Eager Execution模式后, TensorFlow就拥有了类似于Pytorch一样动态图模型能力, 我们可以不必再等到see.run(*)才能看到执行结果, 可以方便在IDE随时调试代码,查看OPs执行结果. tf.keras封装的太好了 。不利于适用于自定义的循环与训练，添加自定义的循环 是一个命令式的编程环境，它使得我们可以立即评估操作产生的结果，而无需构建计算图。
来源：机器之心本文约4600字，建议阅读10+分钟你有在使用JAX吗？ 近年来，谷歌于 2018 年推出的 JAX 迎来了迅猛发展，很多研究者对其寄予厚望，希望它可以取代 TensorFlow 等众多深度学习框架。但 JAX 是否真的适合所有人使用呢？这篇文章对 JAX 的方方面面展开了深入探讨，希望可以给研究者选择深度学习框架时提供有益的参考。 自 2018 年底推出以来，JAX 的受欢迎程度一直在稳步提升。2020 年，DeepMind 宣布使用 JAX 来加速其研究。越来越多来自谷歌大脑（Google
自 2018 年底推出以来，JAX 的受欢迎程度一直在稳步提升。2020 年，DeepMind 宣布使用 JAX 来加速其研究。越来越多来自谷歌大脑（Google Brain）和其他机构的项目也都在使用 JAX。
本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载
可能没人比François Chollet更了解Keras吧？作为Keras的开发者François对Keras可以说是了如指掌。他可以接触到Keras的更新全过程、获得最一手的资源。同时他本人也非常乐于分享、教导别人去更好的学习TensorFlow和Keras。
安妮 编译自 Google Research Blog 量子位 出品 | 公众号 QbitAI 今天，谷歌发布了一系列TensorBoard API，开发者可在TensorBoard中添加自定义的可视化插件，实现自定义可视化效果。同时，谷歌还升级了TensorBoard的仪表盘。 API获取地址： https://github.com/tensorflow/tensorboard-plugin-example/blob/master/README.md 这些API有何特点？谷歌背后的目的何在？我们不妨一探究
作为最流行的深度学习框架，TensorFlow 已经成长为全球使用最广泛的机器学习平台。目前，TensorFlow 的开发者社区包括研究者、开发者和企业等。
CW，广东深圳人，毕业于中山大学（SYSU）数据科学与计算机学院，毕业后就业于腾讯计算机系统有限公司技术工程与事业群（TEG）从事Devops工作，期间在AI LAB实习过，实操过道路交通元素与医疗病例图像分割、视频实时人脸检测与表情识别、OCR等项目。
【导语】TensorFlow 1.8.0 近日正式发布，新版本主要有以下改进内容，AI科技大本营对其编译如下。 ▌主要特点及改进 可以将 tf.contrib.distribute.MirroredStrategy() 传递给 tf.estimator.RunConfig() ，能够在一台有多个 GPU 的机器上运行评估器 （Estimator） 模型。 添加 tf.contrib.data.prefetch_to_device() ，支持预取 GPU 内存。 添加梯度提升树作为预先制作的评估器（Esti
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第三章中的PyTorch小试牛刀。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
本文大约 8000 字，阅读大约需要 12 分钟 第一次翻译，限于英语水平，可能不少地方翻译不准确，请见谅！
在本文中，我列出了当今最常用的 NLP 库，并对其进行简要说明。它们在不同的用例中都有特定的优势和劣势，因此它们都可以作为专门从事 NLP 的优秀数据科学家备选方案。每个库的描述都是从它们的 GitHub 中提取的。
近日，国外一小哥在 tryolabs 上写了一篇博文，为我们详尽地介绍了 Python 的缺陷与相比之下 Swift 的优势，解释了为什么 Swift 版的 TensorFlow 未来在机器学习领域有非常好的发展前景。其中包含大量代码示例，展示了如何用 Swift 优雅地编写机器学习程序。
本文介绍了如何利用 TensorFlow 自定义 Op 扩展运算，介绍了自定义 Op 的注册、实现、编译和调用过程，并通过示例展示了如何使用自定义 Op。
机器之心专栏 机器之心编辑部 Transformer 已经成为众多 NLP 任务以及部分 CV 任务的主流模型，但由于硬件资源匮乏，很多高校实验室或者公司都无法训练很大的模型，而降低批处理大小等措施又会导致训练时间成倍增加。针对这一痛点，字节跳动推出了 LightSeq 训练加速引擎，对 Transformer 训练的整个计算过程进行了优化，最多可以实现 3 倍以上的加速。 如今，NLP 和 CV 领域的大部分任务都将 Transformer 作为基础模型。而早在 2019 年 12 月，字节跳动就开源过
本教程将手把手地带你了解如何训练一个Transformer语言模型。我们将使用TensorFlow框架,在英文Wikipedia数据上预训练一个小型的Transformer模型。教程涵盖数据处理、环境配置、模型构建、超参数选择、训练流程等内容。
【AI科技大本营导语】在今天举行的 2019 年 TensorFlow 开发者峰会上，谷歌宣布了其针对研究和生产的开源机器学习库的一些更新。TensorFlow 2.0 alpha 提供即将发生的变化的预览，旨在让初学者更容易使用 ML。
“ Python 是一种通用的编程语言，广泛用于人工智能项目开发。它有很多可用的库，可以帮助开发人员构建各种人工智能应用程序，如自然语言处理和机器学习。在本文中，我们将介绍一些最流行的 Python 库，以及它们在人工智能项目开发中的应用。”
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
