资源 | 微软开源MMdnn:实现多个框架之间的模型转换

选自GitHub

作者:Kit CHEN等

机器之心编译

参与:路雪、思源

近日,微软开源 MMdnn,可用于转换、可视化和诊断深度神经网络模型的全面、跨框架解决方案,目前支持 Caffe、Keras、MXNet、CNTK 等框架。

项目地址:https://github.com/Microsoft/MMdnn

MMdnn 是一个用于转换、可视化和诊断深度神经网络模型的综合性、跨框架的解决方案。MMdnn 中的「MM」代表模型管理,「dnn」是「deep neural network」(深度神经网络)的缩写。

MMdnn 可将一个框架训练的 DNN 模型转换到其他框架可用。其主要特征包括:

  • 模型文件转换器,转换 DNN 模型使之适合不同框架;
  • 模型代码块生成器,生成适合不同框架的训练或推断代码块;
  • 模型可视化,针对不同框架可视化 DNN 网络架构和参数;
  • 模型兼容性测试(正在进行)。

安装

通过以下命令行获取稳定版的 MMdnn:

pip install https://github.com/Microsoft/MMdnn/releases/download/0.1.3/mmdnn-0.1.3-py2.py3-none-any.whl

或者通过以下命令尝试最新版本:

pip install -U git+https://github.com/Microsoft/MMdnn.git@master

模型转换

业界和学界存在大量现有框架,适合开发者和研究者来设计模型,每个框架具备自己的网络结构定义和模型保存格式。框架之间的差距阻碍了模型的交互操作。

我们提供一个模型转换器,帮助开发者通过中间表征格式转换模型,以适合不同框架。

支持框架

每个支持的框架都有详细的 README 文档,它们可以在以下conversion件夹找到。

地址:https://github.com/Microsoft/MMdnn/tree/master/mmdnn/conversion

  • Caffe
  • Keras
  • MXNet
  • TensorFlow(实验阶段,强烈建议先阅读 README)
  • Microsoft Cognitive Toolkit (CNTK)
  • PyTorch
  • CoreML(实验阶段)

测试模型

我们在部分 ImageNet 模型上对当前支持的框架间模型转换功能进行了测试。

正在测试的框架:

  • PyTorch
  • CNTK
  • Caffe2
  • ONNX

正在测试的模型:

  • RNN
  • 图像风格迁移
  • 目标检测

模型可视化

你可以使用 MMdnn 模型可视化工具(http://vis.mmdnn.com/),提交自己的 IR json 文件进行模型可视化。为了运行下面的命令行,你需要使用喜欢的包管理器安装 requests、Keras、TensorFlow。

使用 Keras inception_v3 模型作为示例。

1. 下载预训练模型:

python -m mmdnn.conversion.examples.keras.extract_model -n inception_v3

2. 将预训练模型文件转换成中间表征格式:

python3 -m mmdnn.conversion._script.convertToIR -f keras -d keras_inception_v3 -n imagenet_inception_v3.json

3. 打开 MMdnn 模型可视化工具地址(http://mmdnn.eastasia.cloudapp.azure.com:8080/),选择文件 keras_inception_v3.json。

社区支持

本项目仍在继续开发与探索,它需要各位读者完善中间表征与支持的框架。因此,该项目的作者表示他非常希望有开发者能提供新的运算或扩展。

  • 中间表征:中间表征在 protobuf 二进制文件中储存网络架构,在 NumPynative 格式中储存预训练权重。此外,目前 IR 权重数据使用的是 NHWC 格式。中间表征的细节请查看 ops.txt 和 graph.proto 文件。
  • 框架:我们正在扩展到其它框架版本和可视化工具,例如 Caffe2、PyTorch 和 CoreML 等。此外,本项目也在积极开发 RNN 相关的操作方法。

使用案例

以下是该项目实现框架转换的基本案例,其中包括官方的教程和用户提供的各种案例,机器之心简要介绍了官方 Keras 到 CNTK 的转换教程。

官方教程:

  • Keras "inception_v3" to CNTK

用户案例:

  • MXNet "resnet 152 11k" to PyTorch
  • MXNet "resnext" to Keras
  • Tensorflow "resnet 101" to PyTorch
  • Tensorflow "mnist mlp model" to CNTK
  • Tensorflow "Inception_v3" to MXNet
  • Caffe "AlexNet" to Tensorflow
  • Caffe "inception_v4" to Tensorflow
  • Caffe "VGG16_SOD" to Tensorflow
  • Caffe "Squeezenet v1.1" to CNTK

Keras「inception_v3」模型到 CNTK 的转换

1. 安装 Keras 和 CNTK

pip install keras

pip install https://cntk.ai/PythonWheel/CPU-Only/cntk-2.3-cp27-cp27mu-linux_x86_64.whl
or
pip install
https://cntk.ai/PythonWheel/CPU-Only/cntk-2.3-cp35-cp35m-linux_x86_64.whl

2. 准备 Keras 模型。以下示例将首先下载预训练模型,然后使用简单的模型抽取器从 Keras 应用中获取模型,抽取器将抽取 Keras 模型架构和权重。

$ python -m mmdnn.conversion.examples.keras.extract_model -n inception_v3

Using TensorFlow backend.
Downloading data from https://github.com/fchollet/deep-learning-models/releases/download/v0.5/inception_v3_weights_tf_dim_ordering_tf_kernels.h5
96075776/96112376 [============================>.] - ETA: 0s
.
.
.
Network structure is saved as [imagenet_inception_v3.json].
Network weights are saved as [imagenet_inception_v3.h5].

架构文件 imagenet_inception_v3.json 和权重文件 imagenet_inception_v3.h5 会下载至当前工作目录。

3. 将预训练模型文件转换为中间表征

$ python -m mmdnn.conversion._script.convertToIR -f keras -d converted -n imagenet_inception_v3.json -w imagenet_inception_v3.h5

Using TensorFlow backend.
.
.
.
Network file [imagenet_inception_v3.json] is loaded successfully.
IR network structure is saved as [converted.json].
IR network structure is saved as [converted.pb].
IR weights are saved as [converted.npy].

以上的命令会将 imagenet_inception_v3.json 作为神经网络架构的描述文件,imagenet_inception_v3.h5 作为预训练权重。然后计算出中间表征文件 converted.json 用于可视化,计算出 converted.proto 和 converted.npy 以进一步转换为其它框架。

4. 转换 IR 文件为 CNTK 模型

$ python -m mmdnn.conversion._script.IRToCode -f cntk -d converted_cntk.py -n converted.pb -w converted.npy

Parse file [converted.pb] with binary format successfully.
Target network code snippet is saved as [converted_cntk.py].

你将得到文件 converted_cntk.py,包括构建 Inception V3 网络的原始 CNTK 代码。

经过这三步,你已经将预训练 Keras Inception_v3 模型转换成 CNTK 网络文件 converted_cntk.py 和权重文件 converted.npy。你可以用这两个文件调整训练或推断。

5. 转存原始 CNTK 模型

$ python -m mmdnn.conversion.examples.cntk.imagenet_test -n converted_cntk -w converted.npy --dump cntk_inception_v3.dnn
.
.
.
CNTK model file is saved as [cntk_inception_v3.dnn], generated by [converted_cntk.py] and [converted.npy].

CNTK 可直接加载文件 cntk_inception_v3.dnn。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-02-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏TensorFlow从0到N

TensorFlow从0到1 - 5 - TensorFlow轻松搞定线性回归

上一篇 第一个机器学习问题 其实是一个线性回归问题(Linear Regression),呈现了用数据来训练模型的具体方式。本篇从平行世界返回,利用Tenso...

40080
来自专栏AI科技大本营的专栏

AI 技术讲座精选:如何在时间序列预测中使用LSTM网络中的时间步长

Keras中的长短期记忆(LSTM)网络支持时间步长。 这就引出这样一个问题:单变量时间序列的滞后观察是否可以用作LSTM的时间步长,这样做是否能改进预测性能...

47550
来自专栏机器之心

教程 | 深度学习 + OpenCV,Python实现实时视频目标检测

选自PyimageSearch 机器之心编译 参与:路雪、李泽南 使用 OpenCV 和 Python 对实时视频流进行深度学习目标检测是非常简单的,我们只需要...

65070
来自专栏AI科技大本营的专栏

能在不同的深度学习框架之间转换模型?微软的MMdnn做到了

Microsoft/MMdnn:深度学习框架随心切换 学习深度学习的各位同学都希望自己的模型能在不同的深度学习框架之间随意转换,比如,斯坦福大学CVGL实验室的...

422110
来自专栏ATYUN订阅号

基于计算机视觉和OpenCV:创建一个能够计算道路交通流量的应用

本文将介绍如何在不需要大量的深度学习算法的情况下,基于计算机视觉来计算道路交通流量。本教程只使用Python和OpenCV,在背景差分算法的帮助下,实现非常简单...

31160
来自专栏IT派

Github 推荐项目 | 用 TensorFlow 简单地实现 StarGAN

StarGAN 是一种新颖且可扩展的方法,可以仅使用一个模型来执行多个域的图像到图像的转换。StarGAN 这样一个统一的模型体系架构让开发者可以同时训练单个网...

8910
来自专栏AI研习社

手把手教你在浏览器中使用脸部识别软件包 face-api.js

我可以很激动地说,我们终于有可能在浏览器中运行人脸识别程序了!在这篇文章中,我会给大家介绍一个基于 TensorFlow.js 核心的 JavaScript 模...

20210
来自专栏tiankonguse的专栏

图片上的算法之JPEG压缩

听了JPEG图片的压缩算法,发现蛮有意思的,这里通过JPEG的整体思想、色彩空间转换,缩减取样、DCT变换、量化以及熵编码技术分享一下心得。

60000
来自专栏数据派THU

教你用Keras和CNN建立模型识别神奇宝贝!(附代码)

在今天博客的最后,你将会了解如何在你自己的数据库中建立、训练并评估一个卷积神经网络。

68710
来自专栏木子昭的博客

sklearn数据集的获取与划分

获取sklearn本地的数据集 from sklearn.datasets import load_iris li = load_iris() print("...

46590

扫码关注云+社区

领取腾讯云代金券