TensorFlow Hub 更新了，有你期待的功能吗？

CV君

发布于 2020-02-21 12:39:52

1.1K0

发布于 2020-02-21 12:39:52

文 / Jordan Grimstad

自Google推出 TensorFlow Hub 已有一年半了，TensorFlow Hub 是一个开源代码库，可以使用 Google 和 DeepMind 发布的预训练模型。自推出以来，Google发布了数百个模型，有些是通用模型，并可针对特定任务进行微调，而一些模型则更为专业，即使在数据较少或计算能力较弱的情况下，也可以帮助您获得更快、更智能的 ML 应用。

Google在 TensorFlow World 上发布了三个重要公告：

模型集已扩展至 SavedModel 以外，目前有 TensorFlow.js、TensorFlow Lite 和 Coral 格式的模型（更多格式正在开发中，敬请期待）；
改善了用户体验，提升了网站的易用性，让各种资源更易于查找、搜索和过滤；
TensorFlow Hub 现在由社区提供支持，陆续更新来自如 NVIDIA、Microsoft AI for Earth 和 iNaturalist 等发布者的模型。

一起看看所有的这些如何实现，一起探索新的可用功能和模型：

深入了解新模型格式

TensorFlow Hub 现提供部署格式，帮助您更快入门。Google添加了搜索功能和可视化提示，可帮助您查找并下载适合您用例的模型。

搜索模型时，请留意模型卡片右上角表示特定格式的标志：

点击进入模型后，您可以看到可用的部署格式，然后浏览文档：

您也可以按部署格式搜索模型，试着通过搜索“tfjs”或“tflite”分别查看 TensorFlow.js 或 TensorFlow Lite 部署格式的模型列表。

随着越来越多的资源种类针对不同的部署环境进行了优化，TF Hub 现可为更多用例提供服务。

支持交互的模型可视化

现在为所选视觉模型提供了嵌入式交互模型可视化工具，以检查您感兴趣的模型是否适合您考虑的用例。这些模型可视化工具位于模型详情页面的顶部。如果您想根据自己的数据测试模型性能，则可上传自己的测试图像。还提供了一些示例图像，用于直接在页面上测试模型。

下图中，模型可视化工具正在丹麦真菌学会 (Danish Mycological society) 的 Mobile Mushroom Classifier (传送门：机器学习助力生物多样性研究)上运行：

而在这张图中，该工具正在大都会艺术博物馆 (The Metropolitan Museum) 的 iMet Collection Attribute Classifier 上大展身手：

希望这一可视化工具能够让您在开发初期更好地理解某个特定模型的性能和可能用例，从而节省您的原型设计和开发时间。

在 TF2.0 中使用预训练的 TF Hub 模型

如果您之前没有用过 TF Hub，有很多教程和演示，向您展示如何入门。要熟悉 TF Hub 的功能，最简单的方法就是使用适合特定任务的预训练模型。

最近Google发布了使用 TensorFlow Hub 进行文本分类 (Text classification with TensorFlow Hub) 的 Colab，以演示如何使用 tf.keras 和 TF Hub 代码库中的预训练文本嵌入 (Text Embedding) 简便快捷地对电影评论中的情感进行分类。此图展示了如何使用预训练的 embedding 以五行代码构建 Keras 模型：

model = tf.keras.Sequential()
model.add(hub.KerasLayer(
    "https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1",
    input_shape=[], dtype=tf.string, trainable=True))
model.add(tf.keras.layers.Dense(16, activation='relu'))
model.add(tf.keras.layers.Dense(1, activation='sigmoid'))
model.summary()

最近发布的另一个 Colab 演示：任意风格的快速风格迁移》(Fast Style Transfer for Arbitrary Styles) 展示了如何借助 Magenta 中一个不同的预训练模型通过仅用几行代码实现快速艺术风格迁移。

model = hub.load(
    "https://tfhub.dev/google/magenta/arbitrary-image-stylization-v1-256/2")
stylized_image = model(tf.constant(content_image), tf.constant(style_image))[0]

了解详情

期待收到您的反馈！诚邀您试用全新的 TF Hub，并在 GitHub 组件上提交错误报告，体验新功能请求。如果您有兴趣参与在 TensorFlow Hub 上发布模型，请点击此处。此外，也欢迎成为 Alpha 版测试人员，一起完成发布工作流程。

如果您想详细了解 本文提及 的相关内容，请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题：

推出 TensorFlow Hub https://medium.com/tensorflow/introducing-tensorflow-hub-a-library-for-reusable-machine-learning-modules-in-tensorflow-cdee41fa18f9
TensorFlow World https://v.youku.com/v_show/id_XNDQyMDUyNzE4OA==.html?f=52334748
SavedModel https://tensorflow.google.cn/guide/saved_model
TensorFlow.js https://tensorflow.google.cn/js/
TensorFlow Lite https://tensorflow.google.cn/lite
Coral https://coral.withgoogle.com/
社区 https://tensorflow.google.cn/hub/publish
NVIDIA https://tfhub.dev/nvidia
Microsoft AI for Earth https://tfhub.dev/microsoft-ai-for-earth
iNaturalist https://tfhub.dev/inaturalist
TensorFlow Hub（或点击“阅读原文”） https://tfhub.dev/
Mobile Mushroom Classifier https://tfhub.dev/svampeatlas/vision/classifier/fungi_mobile_V1/1
iMet Collection Attribute Classifier https://tfhub.dev/metmuseum/vision/classifier/imet_attributes_V1/1
Colab 使用 TensorFlow Hub 进行文本分类 https://colab.sandbox.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/keras/text_classification_with_hub.ipynb#scrollTo=ItXfxkxvosLH
预训练文本嵌入 https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1
Colab 任意风格的快速风格迁移 https://colab.sandbox.google.com/github/tensorflow/hub/blob/master/examples/colab/tf2_arbitrary_image_stylization.ipynb
Magenta https://magenta.tensorflow.org/
预训练模型 https://tfhub.dev/google/magenta/arbitrary-image-stylization-v1-256/2
GitHub 组件 https://github.com/tensorflow/hub/issues
反馈 https://tensorflow.google.cn/hub/publish