机器之心报道
参与:杜伟、一鸣
TensorFlow2.1的更新,能够让弃坑的用户回心转意吗?
去年 10 月,谷歌才发布了 TensorFlow 2.0 正式版。时隔三个月后,昨日官方发布了 TensorFlow 2.1,本次版本更新带了了多项新特性、功能改进和 bug 修复。
从本次更新的日志来看,TensorFlow 2.1 将成为最后一个支持 Python2 的版本了。同时,本次更新的重点是增加了对 TPU 的多项支持,而 tf.keras 和 tf.data 这两个常用的 API 也得到了很多新的更新。据悉,TensorFlow 2.1 的 CUDA 版本为 10.1,cuDNN 版本为 7.6。
在对操作系统的支持上,Windows 和 Linux 系统的 TensorFlow pip 版本默认支持 GPU。也就是说,如果使用 pip install tensorflow,则版本默认为是 gpu 版本(原始的 tensorflow-gpu 版本依然存在)。当然,不管有没有英伟达版本的 GPU,tensorflow 依然能够运行。
如果需要使用 CPU 版本,用户的安装命令应该为:pip install tensorflow-cpu。
项目地址:https://github.com/tensorflow/tensorflow/releases
对于本次更新的内容,机器之心整理如下:
进一步支持 TPU
TensorFlow 2.1 最大的亮点在于进一步增加对 TPU 的支持。从 tf.keras、tf.data 等 API 的功能调整和更新来看,现在使用 TPU 加载数据集、训练和模型推理会更方便一些。
tf.keras 对 TPU 的支持
tf.data 对 TPU 的支持
tf.data.Dataset 现在支持自动数据分发(automatic data distribution)和分布式环境下的分片操作,包括在 TPU pods 上都可以。
tf.distribute 对 TPU 的支持
支持在 TPU 和 TPU pods 上定制训练循环,通过以下 API 即可:
strategy.experimental_distribute_dataset、
strategy.experimental_distribute_datasets_from_function、strategy.experimental_run_v2 和 strategy.reduce。
重要 API 更新
TensorFlow 2.1 进行了以下一些重要的 API 更新:
tf.keras
tf.data
tf.data datasets 和分布式策略都进行了改进,以获得更好的性能。需要注意的是 dataset 会变得有些不同,重新进行了分批的数据集会有多个副本;
而分布式策略也会进行调整,如下所示:
tf.data.experimental.AutoShardPolicy(OFF, AUTO, FILE, DATA) tf.data.experimental.ExternalStatePolicy(WARN, IGNORE, FAIL)
TensorRT
现在 TensorRT 6.0 是默认的版本,这一版本增加了对更多 TensorFlow 算子的支持,包括 Conv3D、Conv3DBackpropInputV2、AvgPool3D、MaxPool3D、ResizeBilinear 和 ResizeNearestNeighbor。
此外,TensorFlow 和 TensorRT 的 Python 交互 API 被命名为 tf.experimental.tensorrt.Converter。
Bug 修复
TensorFlow 2.1.0 还修复了以前版本中出现的一些 Bug,整理如下:
tf.data
tf.distribute
修复使用 tf.distribute.Strategy 时 GRU 崩溃或输出错误结果的问题。
tf.keras