TensorFlow 2.0主要使用的是动态计算图和Autograph。
动态计算图易于调试,编码效率较高,但执行效率偏低。
静态计算图执行效率很高,但较难调试。
而Autograph机制可以将动态图转换成静态计算图,兼收执行效率和编码效率之利。
当然Autograph机制能够转换的代码并不是没有任何约束的,有一些编码规范需要遵循,否则可能会转换失败或者不符合预期。
@tf.function
修饰的函数应尽可能使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而不是print,使用tf.range而不是range,使用tf.constant(True)
而不是True.被@tf.function修饰的函数应尽量使用TensorFlow中的函数而不是Python中的其他函数。
python
import numpy as np
import tensorflow as tf
@tf.function
def np_random():
a = np.random.randn(3,3)
tf.print(a)
@tf.function
def tf_random():
a = tf.random.normal((3,3))
tf.print(a)
# np_random每次执行都是一样的结果
# tf_random每次执行都会有重新生成随机数。
避免在@tf.function修饰的函数内部定义tf.Variable.
python
x = tf.Variable(1.0,dtype=tf.float32)
@tf.function
def outer_var():
x.assign_add(1.0)
tf.print(x)
被@tf.function修饰的函数不可修改该函数外部的Python列表或字典等结构类型变量。
python
tensor_list = []
@tf.function #加上这一行切换成Autograph结果将不符合预期!!!
def append_tensor(x):
tensor_list.append(x) #测试在此处的tensor_list虽然使用append的方法,但是却起不到作用
return tensor_list
当我们第一次调用这个被@tf.function装饰的函数时,后面到底发生了什么?
TensorFlow提供了一个基类tf.Module
,通过继承它构建子类,我们不仅可以获得以上的自然而然,而且可以非常方便地管理变量,还可以非常方便地管理它引用的其它Module,而且我们能够利用tf.saved_model
保存模型并实现跨平台部署使用。``
实际上,tf.keras.models.Model,tf.keras.layers.Layer
都是继承自tf.Module
的,提供了方便的变量管理和所引用的子模块管理的功能。
因此,利用tf.Module提供的封装,再结合TensoFlow丰富的低阶API,实际上我们能够基于TensorFlow开发任意机器学习模型(而非仅仅是神经网络模型),并实现跨平台部署使用。
定义一个简单的function.
python
import tensorflow as tf
x = tf.Variable(1.0,dtype=tf.float32)
#在tf.function中用input_signature限定输入张量的签名类型:shape和dtype,当a不符合这个标准,就会报错
@tf.function(input_signature=[tf.TensorSpec(shape = [], dtype = tf.float32)])
def add_print(a):
x.assign_add(a)
tf.print(x)
return(x)
自定义module
python
class DemoModule(tf.Module):
def __init__(self,init_value = tf.constant(0.0),name=None):
super(DemoModule, self).__init__(name=name)
with self.name_scope: #相当于with tf.name_scope("demo_module")
self.x = tf.Variable(init_value,dtype = tf.float32,trainable=True)
@tf.function(input_signature=[tf.TensorSpec(shape = [], dtype = tf.float32)])
def addprint(self,a):
with self.name_scope:
self.x.assign_add(a)
tf.print(self.x)
return(self.x)
#执行
demo = DemoModule(init_value = tf.constant(1.0))
result = demo.addprint(tf.constant(5.0))
#查看模块中的全部变量和全部可训练变量
print(demo.variables)
print(demo.trainable_variables)
#查看模块中的全部子模块
demo.submodules
#使用tf.saved_model 保存模型,并指定需要跨平台部署的方法
tf.saved_model.save(demo,"./data/demo/1",signatures = {"serving_default":demo.addprint})
#加载模型
demo2 = tf.saved_model.load("./data/demo/1")
demo2.addprint(tf.constant(5.0))
# 查看模型文件相关信息,红框标出来的输出信息在模型部署和跨平台使用时有可能会用到
!saved_model_cli show --dir ./data/demo/1 --all
在tensorboard中查看计算图,模块会被添加模块名demo_module,方便层次化呈现计算图结构。
python
import datetime
# 创建日志
stamp = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = './data/demomodule/%s' % stamp
writer = tf.summary.create_file_writer(logdir)
#开启autograph跟踪
tf.summary.trace_on(graph=True, profiler=True)
#执行autograph
demo = DemoModule(init_value = tf.constant(0.0))
result = demo.addprint(tf.constant(5.0))
#将计算图信息写入日志
with writer.as_default():
tf.summary.trace_export(
name="demomodule",
step=0,
profiler_outdir=logdir)
使用tensorboard
python
#启动 tensorboard在jupyter中的魔法命令
from tensorboard import notebook
notebook.list()
notebook.start("--logdir ./data/demomodule/")
除了利用tf.Module的子类化实现封装,我们也可以通过给
tf.Module
添加属性的方法进行封装。
python
mymodule = tf.Module()
mymodule.x = tf.Variable(0.0)
@tf.function(input_signature=[tf.TensorSpec(shape = [], dtype = tf.float32)])
def addprint(a):
mymodule.x.assign_add(a)
tf.print(mymodule.x)
return (mymodule.x)
mymodule.addprint = addprint
tf.keras中的模型和层都是继承tf.Module实现的,也具有变量管理和子模块管理功能。
python
import tensorflow as tf
from tensorflow.keras import models,layers,losses,metrics
tf.keras.backend.clear_session()
model = models.Sequential()
model.add(layers.Dense(4,input_shape = (10,)))
model.add(layers.Dense(2))
model.add(layers.Dense(1))
model.summary()
# 打印结果:
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
dense (Dense) (None, 4) 44
_________________________________________________________________
dense_1 (Dense) (None, 2) 10
_________________________________________________________________
dense_2 (Dense) (None, 1) 3
=================================================================
Total params: 57
Trainable params: 57
Non-trainable params: 0
# 获得model中的变量
model.variables
# 获得model中的可训练变量
model.trainable_variables
model.layers[0].trainable = False #冻结第0层的变量,使其不可训练
model.submodules #获得每层model的情况
## Sequence of all sub-modules.
## Submodules are modules which are properties of this module, or found as
## properties of modules which are properties of this module (and so on).
model.layers