专栏首页Mybatis学习Tensorflow2——模型的保存和恢复

Tensorflow2——模型的保存和恢复

模型的保存和恢复

1、保存整个模型

1)整个模型保存到一个文件中,其中包含权重值,模型配置以及优化器的配置,这样,您就可以为模型设置检查点,并稍后从完全相同的状态进行训练,而无需访问原始代码 2)在keras中保存完全可以正常的使用模型非常有用,您可以在tensorflow.js中加载他们,然后在网络浏览器中训练和运行它们 3)keras中使用HDF5标准提供基本的保存格式

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

(train_image,train_label),(test_image,test_label)=tf.keras.datasets.fashion_mnist.load_data()

train_image=train_image/255
test_image=test_image/255

model=tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="softmax"))

model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

model.fit(train_image,train_label,epochs=3)
#模型的评估
model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]
#把整个模型保存到当前目录下
model.save("less_model.h5")

如何去使用保存好的模型呢?

new_model=tf.keras.models.load_model("less_model.h5")   
#既保存了模型的框架,也保存了模型的权重
new_model.summary()
Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
flatten (Flatten)            (None, 784)               0         
_________________________________________________________________
dense (Dense)                (None, 128)               100480    
_________________________________________________________________
dense_1 (Dense)              (None, 10)                1290      
=================================================================
Total params: 101,770
Trainable params: 101,770
Non-trainable params: 0
_________________________________________________________________
new_model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]

2、仅仅保存模型的架构(框架)

有时候我们只对模型的架构感兴趣,而无需保存权重值或者是优化器,在这种情况下,可以仅仅保存模型的配置

模型的整体的架构情况,返回一个json数据,就是一个模型的架构

json_config=model.to_json()
#重建这个模型
reinitialized_model=tf.keras.models.model_from_json(json_config)
reinitialized_model.summary()
Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
flatten (Flatten)            (None, 784)               0         
_________________________________________________________________
dense (Dense)                (None, 128)               100480    
_________________________________________________________________
dense_1 (Dense)              (None, 10)                1290      
=================================================================
Total params: 101,770
Trainable params: 101,770
Non-trainable params: 0
_________________________________________________________________
reinitialized_model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])
reinitialized_model.evaluate(test_image,test_label,verbose=0)
##[2.3029253482818604, 0.09950000047683716]

由上可知,网络并没有保存模型的整个配置,也就是他的权重,只是保存了网络的架构

3、仅仅保存模型的权重

时候我们只需要保存模型的状态(其权重值),而对模型的架构不感兴趣,在这种情况下,可以通过get_weights()来获取权重值,并通过set_weights()设置权重值

weight=model.get_weights()    
#这里保存的权重是一个arrray,不好保存在磁盘上
reinitialized_model.set_weights(weight)   
#给之前没有训练的模型加载权重
reinitialized_model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]

所谓保存在磁盘上的权重就是开机了之后能够直接调用的权重

model.save_weights("less_weight.h5")   
#直接保存在我们的磁盘上的权重
reinitialized_model.load_weights("less_weight.h5")   
#从磁盘上加载权重
reinitialized_model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]

4、在训练期间保存检查点

在训练期间训练结束时候自动保存检查点,这样一来,您便可以使用经过训练的模型,而无需重新训练该模型,或者是从上次暂停的地方继续训练,以防止训练过程终端 回调函数:tf.keras.callbacks.ModelCheckpoint 来控制他的训练过程

checkpoint_path="training_cp/cp.ckpt"
cp_callback=tf.keras.callbacks.ModelCheckpoint(checkpoint_path,save_weights_only=True,verbose=0)

model=tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="softmax"))

model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

model.fit(train_image,train_label,epochs=3,callbacks=[cp_callback])

其实保存的都是一些权重cp.ckpt

model=tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="softmax"))

model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

model.evaluate(test_image,test_label,verbose=0)

model.load_weights("training_cp/cp.ckpt")

model.evaluate(test_image,test_label,verbose=0)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TensorFlow 模型保存和恢复示例

    在之前一篇文章里:使用CNN+ Auto-Encoder 实现无监督Sentence Embedding (代码基于Tensorflow),训练完成后,enco...

    用户2936994
  • tensorflow保存与恢复模型

    pb 格式模型保存与恢复相比于前面的 .ckpt 格式而言要稍微麻烦一点,但使用更灵活,特别是模型恢复,因为它可以脱离会话(Session)而存在,便于部署。

    羽翰尘
  • 【Tensorflow】数据及模型的保存和恢复

    如果你是一个深度学习的初学者,那么我相信你应该会跟着教材或者视频敲上那么一遍代码,搭建最简单的神经网络去完成针对 MNIST 数据库的数字识别任务。通常,随意构...

    Frank909
  • Canvas的保存和恢复的demo

    凌川江雪
  • 【TensorFlow2.x开发—基础】 模型保存、加载、使用

    本文主要介绍在TensorFlow2 中使用Keras API保存整个模型,以及如果使用保存好的模型。保存整个模型时,有两种格式可以实现,分别是SaveMode...

    一颗小树x
  • 资源 | TensorFlow极简教程:创建、保存和恢复机器学习模型

    选自Github 机器之心编译 参与:Jane W、李泽南 TensorFlow 是一个由谷歌发布的机器学习框架,在这篇文章中,我们将阐述 TensorFlow...

    机器之心
  • 基于Tensorflow2 Lite在Android手机上实现图像分类

    Tensorflow2之后,训练保存的模型也有所变化,基于Keras接口搭建的网络模型默认保存的模型是h5格式的,而之前的模型格式是pb。Tensorflow2...

    夜雨飘零
  • pytorch加载和保存模型

    狼啸风云
  • python 模型的保存

    模型上线一般通过java处理 此时最好用pmml,github上有sklearntopmml的模块可以免费使用,强烈推荐。 这和R语言有点类似

    py3study
  • [阿里DIN] 模型保存,加载和使用

    Deep Interest Network(DIN)是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域(e-commerce ind...

    罗西的思考
  • Tensorflow模型保存和读取tf.train.Saver

    然后,在训练循环中,定期调用 saver.save() 方法,向文件夹中写入包含了当前模型中所有可训练变量的 checkpoint 文件。

    周小董
  • Tensorflow加载预训练模型和保存模型

    使用tensorflow过程中,训练结束后我们需要用到模型文件。有时候,我们可能也需要用到别人训练好的模型,并在这个基础上再次训练。这时候我们需要掌握如何操作这...

    superhua
  • 掌握TensorFlow1与TensorFlow2共存的秘密,一篇文章就够了

    TensorFlow是Google推出的深度学习框架,也是使用最广泛的深度学习框架。目前最新的TensorFlow版本是2.1。可能有很多同学想跃跃欲试安装Te...

    蒙娜丽宁
  • 【深度学习】Tensorflow2.x入门(一)建立模型的三种模式

    最近做实验比较焦虑,因此准备结合推荐算法梳理下Tensorflow2.x的知识。介绍Tensorflow2.x的文章有很多,但本文(系列)是按照作者构建模型的思...

    黄博的机器学习圈子
  • PyTorch | 保存和加载模型教程

    原文 | https://pytorch.org/tutorials/beginner/saving_loading_models.html

    kbsc13
  • 『带你学AI』开发环境配置之Windows10篇:一步步带你在Windows10平台开发深度学习

    1. 章节一:初探AI(《带你学AI与TensorFlow2实战一之深度学习初探》):(已完成)

    小宋是呢
  • TensorFlow2 开发指南 | 01 手写数字识别快速入门

    在上一个专栏【TF2.0深度学习实战——图像分类】中,我分享了各种经典的深度神经网络的搭建和训练过程,比如有:LeNet-5、AlexNet、VGG系列、Goo...

    AI菌
  • Java异常处理中的恢复模型

    二十三年蝉
  • Excel小技巧78:恢复未保存的Excel工作簿

    我们可能碰到过这样的情形,正在编辑Excel工作簿时,Excel突然崩溃了(例如Excel老半天都没有响应)或者电脑突然断电了,这让我们来不及保存工作簿。此时,...

    fanjy

扫码关注云+社区

领取腾讯云代金券