最近需要将使用keras训练的模型移植到手机上使用， 因此需要转换到tensorflow的二进制模型。
在了解如何利用TesnsorFlow构建和训练各种模型——从基本的机器学习模型到复杂的深度学习网络后，我们就要考虑如何将训练好的模型投入于产品，以使其能够为其他应用所用，本文对此将进行详细介绍。文章节选自《面向机器智能的TensorFlow实践》第7章。 本文将创建一个简单的Web App，使用户能够上传一幅图像，并对其运行Inception模型，实现图像的自动分类。 搭建TensorFlow服务开发环境 Docker镜像 TensorFlow服务是用于构建允许用户在产品中使用我们提供的模型的服务器的工具。
本文介绍了 TensorFlow 常见模型格式和载入、保存方法。TensorFlow 支持多种模型格式，包括 CheckPoint、GraphDef、SavedModel 等，这些格式之间关系密切，可以使用 TensorFlow 提供的 API 来互相转换。在训练和部署模型时，可以根据具体需求选择相应的格式。
1、在tensorflow绘图的情况下,使用tf.saved_model.simple_save()方法保存模型
OpenVINO中模型优化器(Model Optimizer)支持tensorflow/Caffe模型转换为OpenVINO的中间层表示IR(intermediate representation)，从而实现对模型的压缩与优化，方便推断引擎更快的加载与执行这些模型。以tensorflow对象检测框架支持的SSD MobileNet v2版本的模型为例，实现从tensorflow的pb文件到IR格式的bin与xml文件生成。全部的过程可以分为三个部分，下面一一解析！
对于开发者来说，在移动设备上运行预先训练好的模型的能力意味着向边界计算(edge computing)迈进了一大步。[译注：所谓的边界计算，从字面意思理解，就是与现实世界的边界。数据中心是网络的中心，PC、手机、监控照相机处在边界。]数据能够直接在用户手机上处理，私人数据仍然掌握在他们手中。没有蜂窝网络的延迟，应用程序可以运行得更顺畅，并且可大幅减少公司的云服务账单。快速响应式应用现在可以运行复杂的机器学习模型，这种技术转变将赋予产品工程师跳出条条框框思考的力量，迎来应用程序开发的新潮流。
https://esthermakes.tech/blog/2021/01/09/lanenet-on-nvidia-jetson/
本篇文章主要对比赛流程中的各个环节进行展开说明，并对笔者践行过的代码及更改的地方进行记录。如哪里有侵权请联系笔者进行删除。另外在这里对比赛举办方表示感谢 ~ ~
对象检测是计算机视觉最常见的任务之一，应用非常广泛，本文主要给给大家价绍两条快速方便的自定义对象检测模型的训练与部署的技术路径，供大家实际项目中可以参考。
GitHub 地址：https://github.com/edvardHua/PoseEstimationForMobile
选自GitHub 作者：Kit CHEN等 机器之心编译 参与：路雪、思源 近日，微软开源 MMdnn，可用于转换、可视化和诊断深度神经网络模型的全面、跨框架解决方案，目前支持 Caffe、Keras、MXNet、CNTK 等框架。 项目地址：https://github.com/Microsoft/MMdnn MMdnn 是一个用于转换、可视化和诊断深度神经网络模型的综合性、跨框架的解决方案。MMdnn 中的「MM」代表模型管理，「dnn」是「deep neural network」（深度神经网络）的缩写
在本文中，我们将看到如何将Pytorch模型移植到C++中。Pytorch通常用于研究和制作新模型以及系统的原型。该框架很灵活，因此易于使用。主要的问题是我们如何将Pytorch模型移植到更适合的格式C++中，以便在生产中使用。
AI科技评论按：本文作者何之源，原文载于知乎专栏AI Insight，AI科技评论获其授权发布。 CycleGAN是在今年三月底放在arxiv（arXiv: 1703.10593）的一篇文章，文章名为《Learning to Discover Cross-Domain Relations with Generative Adversarial Networks》。同一时期还有两篇非常类似的DualGAN (arXiv: 1704.02510) 和DiscoGAN (arXiv: 1703.05192)，简单
Keras的.h5模型转成tensorflow的.pb格式模型，方便后期的前端部署。直接上代码
选自machinethink.net 机器之心编译 参与：赵华龙、邵明、吴攀、李泽南 在你使用深度神经网络做预测之前，你首先要训练神经网络。现在存在许多不同的神经网络训练工具，TensorFlow 正迅速成为其中最热门的选择。近日，独立开发者 Matthijs Hollemans 在 machinethink.net 的博客上发布了一篇讲解如何在 iOS 系统上运行 TensorFlow 的深度长文教程，并开源了相关的代码。机器之心对本文进行了编译介绍。关于 TensorFlow 的更多资讯和教程，请参阅机
如何安装tensorflow object detection API框架，看这里：
很高兴能有机会在LiveVideoStock做有关于FFmpeg深度学习模块相关内容的技术分享。
在上篇博文中，我们探索了TensorFlow模型参数保存与加载实现方法采用的是保存ckpt的方式。这篇博文我们会使用保存为pd格式文件来实现。 首先，我会在上篇博文基础上，实现由ckpt文件如何转换为pb文件，再去探索如何在训练时直接保存pb文件，最后是如何利用pb文件复现网络与参数完成应用预测功能。
背景：目前keras框架使用简单，很容易上手，深得广大算法工程师的喜爱，但是当部署到客户端时，可能会出现各种各样的bug，甚至不支持使用keras，本文来解决的是将keras的h5模型转换为客户端常用的tensorflow的pb模型并使用tensorflow加载pb模型。
目标是想把在服务器上用pytorch训练好的模型转换为可以在移动端运行的tflite模型。
CycleGAN是在今年三月底放在arxiv的一篇文章，文章名为Learning to Discover Cross-Domain Relations with Generative Adversar
TensorFlow目前在移动端是无法training的，只能跑已经训练好的模型，但一般的保存方式只有单一保存参数或者graph的，如何将参数、graph同时保存呢？
本文小黄弟要向大家介绍的是用英特尔NCS2加速棒实现对tensorflow物体检测模型的加速，涉及到的内容有tensorflow物体检测模型，OpencvDNN模块的使用，OpenVINO的使用。对这3个模块了解的同志看起来会比较愉快，不了解的看了也能有助于睡眠。
本文最初发表在 Towards Data Science 博客，经原作者 Ran Rubin 授权，InfoQ 中文站翻译并分享。
本博客实现将自己训练保存的ckpt模型转换为pb文件，该方法适用于任何ckpt模型，当然你需要确定ckpt模型输入/输出的节点名称。
可以看到在用Calibaration Tool进行Int8量化之前需要先解决如何将我们的原始数据集转为Annotations文件以及我们如何用精度检查工具(Accuracy Checker Tool)去评估我们的量化后模型的表现。其中将原始数据集转换为Annotations文件的时候用命令是比较方便，如果懒得写配置文件的话。而要使用精度检查工具，则必须写配置文件了，具体见本文后面的详细介绍。
在 OpenCV4.X 版本(OpenCV3.4.1之后版本) 可以采用 cv2.dnn.readNetFromTensorflow(pbmodel, pbtxt) 函数直接调用 TensorFlow 训练的目标检测模型.
迁移学习指的是，通过对预训练模型的参数进行微调，将训练好的模型应用到相似或者只有细微差异的不同任务中。通过这个方法，我们可以基于一些性能顶尖的深度学习模型得到别的高性能模型。尽管听上去较为简单，迁移学习仍然在预处理、搭建和测试上有很多的研究空间。
本章介绍如何设置开发环境，以使用 TensorFlow 构建所有 iOS 或 Android 应用，本书其余部分对此进行了讨论。 我们不会详细讨论可用于开发的所有受支持的 TensorFlow 版本，OS 版本，Xcode 和 Android Studio 版本，因为可以在 TensorFlow 网站或通过 Google。 相反，我们将在本章中简要讨论示例工作环境，以便我们能够快速了解可使用该环境构建的所有出色应用。
百度推出飞桨（PaddlePaddle）后，不少开发者开始转向国内的深度学习框架。但是从代码的转移谈何容易，之前的工作重写一遍不太现实，成千上万行代码的手工转换等于是在做一次二次开发。
【导读】随着TensorFlow的普及，越来越多的行业希望将Github中大量已有的TensorFlow代码和模型集成到自己的业务系统中，如何在常见的编程语言（Java、NodeJS等）中使用TensorFlow成为了一个比较常见的问题。专知成员Hujun给大家详细介绍了在Java中使用TensorFlow的两种方法，并着重介绍如何用TensorFlow官方Java API调用已有TensorFlow模型的方法。 专知成员Hujun在以前就写过TensorFlow 1.4 Eager Execution系列
GPU已被证明是加速深度学习和AI工作负载（如计算机视觉和自然语言处理（NLP））的有效解决方案。如今许多基于深度学习的应用程序在其生产环境中使用GPU设备，例如用于数据中心的NVIDIA Tesla和用于嵌入式平台的Jetson。这提出了一个问题：如何从NVIDIA GPU设备获得最佳推理性能？
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
因为最近在和计算棒打交道，自然存在一个模型转换问题，如果说YOLOv3或者YOLOV3-tiny怎么进一步压缩，我想大多数人都会想到将标准卷积改为深度可分离卷积结构？而当前很多人都是基于DarkNet框架训练目标检测模型，并且github也有开源一个Darknet转到OpenVINO推理框架的工具，地址见附录。而要说明的是，github上的开源工具只是支持了原生的YOLOv3和YOLOV3-tiny模型转到tensorflow的pb模型，然后再由pb模型转换到IR模型执行在神经棒的推理。因此，我写了一个脚本可以将带深度可分离卷积的YOLOv3或YOLOV3-tiny转换到pb模型并转换到IR模型，且测试无误。就奉献一下啦。
在前九章中，我们使用 TensorFlow Mobile 在移动设备上运行各种由 TensorFlow 和 Keras 构建的强大的深度学习模型。 正如我们在第 1 章，“移动 TensorFlow 入门”中提到的那样，Google 还提供了 TensorFlow Lite（可替代 TensorFlow Mobile 的版本）在移动设备上运行模型。 尽管自 Google I/O 2018 起它仍在开发人员预览中，但 Google 打算“大大简化开发人员针对小型设备的模型定位的体验。” 因此，值得详细研究 TensorFlow Lite 并为未来做好准备。
作者 | 李嘉璇 责编 | 何永灿 随着神经网络算法在图像、语音等领域都大幅度超越传统算法，但在应用到实际项目中却面临两个问题：计算量巨大及模型体积过大，不利于移动端和嵌入式的场景；模型内存占用过大，导致功耗和电量消耗过高。因此，如何对神经网络模型进行优化，在尽可能不损失精度的情况下，减小模型的体积，并且计算量也降低，就是我们将深度学习在更广泛的场景下应用时要解决的问题。 加速神经网络模型计算的方向 在移动端或者嵌入式设备上应用深度学习，有两种方式：一是将模型运行在云端服务器上，向服务器发送请求，接收服务器
一个完整的神经网络由这两部分构成，Tensorflow 在保存时除了这两个文件还会在目录下自动生成 checkpoint， checkpoint的内容如下，它只记录了目录下有哪些网络。
深度学习的应用主要包括两个部分，一是通过深度学习框架训练出模型，二是利用训练出来的模型进行预测。
【导读】CoreML是2017年苹果WWDC发布的最令人兴奋的功能之一。它可用于将机器学习整合到应用程序中，并且全部脱机。CoreML提供的机器学习 API，包括面部识别的视觉 API、自然语言处理 API 。苹果软件主管兼高级副总裁 Craig Federighi 在大会上介绍说，Core ML 致力于加速在 iPhone、iPad、Apple Watch 等移动设备上的人工智能任务，支持深度神经网络、循环神经网络、卷积神经网络、支持向量机、树集成、线性模型等。本文将带你从最初的数据处理开始教你一步一步的
本文介绍了如何使用深度学习模型进行图像分类，并探讨了在训练和评估模型时出现的问题及解决方案。
下面划重点：因为MNIST使用的是黑底白字的图片，所以你自己手写数字的时候一定要注意把得到的图片也改成黑底白字的，否则会识别错（至少我得到的结论是这样的 ，之前用白底黑字的图总是识别出错）
将PyTorch模型转换为PaddlePaddle模型需要先把PyTorch转换为onnx模型，然后转换为PaddlePaddle模型。
选自Medium 作者：Mike Shi 机器之心编译 参与：Pedro、刘晓坤 Tensorflow.js 是一个能在你的浏览器里运行的全新深度学习库。本文将会介绍从原生 Tiny YOLO Darknet 模型到 Keras 的转换，再到 Tensorflow.js 的转换，如何利用其作一些预测，在编写 Tensorflow.js 遇到的一些问题，以及介绍使用联网摄像头/图像轻松地进行预测检测。 项目地址：https://github.com/ModelDepot/tfjs-yolo-tiny YOL
TensorFlow服务，托管模型并提供远程访问。TensorFlow服务有一个很好的文档的架构和有用的教程。不幸的是，这个有点难用，你需要做较大改动来为自己的模型提供服务。
大数据文摘作品 编译：姜范波、云舟 本文讲的是如何快速而不求完美地部署一个训练好的机器学习模型并应用到实际中。如果你已经成功地使用诸如Tensorflow或Caffe这样的框架训练好了一个机器学习模型，现在你正在试图让这个模型能够快速的演示，那么读这篇文章就对了。 阅读时长： 10-15分钟 使用前检查清单 检查tensorflow的安装 从 stdin 运行在线分类 在本地运行分类 把分类器放到硬编码（hardcoded）的代理 把分类器放到有服务发现（service discovery）的代理 用一
升级到tf 2.0后, 训练的模型想转成1.x版本的.pb模型, 但之前提供的通过ckpt转pb模型的方法都不可用(因为保存的ckpt不再有.meta)文件, 尝试了好久, 终于找到了一个方法可以迂回转到1.x版本的pb模型.
如果您使用过 TensorFlow 1.x，则本部分将重点介绍迁移到 TensorFlow 2.0 所需的总体概念更改。 它还将教您使用 TensorFlow 可以进行的各种 AIY 项目。 最后，本节向您展示如何将 TensorFlow Lite 与跨多个平台的低功耗设备一起使用。
随着 2012 年深度神经网络在 ImageNetchallenge 比赛上以 AlexNet 模型获胜，深度神经网络开创了空前的高潮。AI 工程师已经将深度学习技术应用到越来越多的问题域，包括预训练的深度美国有线电视新闻网模型。还有什么比创造艺术更富有创造力呢？
主要讲述如何把DrakNet框架下支持的YOLO系列模型通过OpenVINO模型优化器与推断引擎实现对YOLO网络模型的加速执行。完整实现YOLO模型在OpenVINO上运行可以分为两个部分
领取专属 10元无门槛券
手把手带您无忧上云
