Tensorflow服务器:我不想为每个会话初始化全局变量
EDIT2: Github链接包含从进程调用TF模型问题的可能解决方案。它们包括急切的执行和专用的服务器进程，通过http请求提供TF模型预测。我想知道与每次初始化全局变量和调用tf.train.Server相比，使用自定义服务器和请求是否会赢得任何时间，但这似乎是更优雅的方式。
我将调查内存泄漏，如果它已经消失，就结束这个问题。
编辑:添加问题的简单可重现示例：
https://github.com/hcl14/Tensorflow-server-launched-from-child-process
Background：我正在运行Tensorflow服务器，并从'forked‘进程连接到它。动态创建(和销毁)进程对我来说是必不可少的--我将高负载的部分代码转移到那里是因为有一个weird memory leak，这对Python分析器是不可见的(线程不能解决这个问题)。因此，我希望进程能够快速初始化并立即开始工作。只有在进程被销毁时，才会释放内存。
通过实验，我找到了一种解决方案，将加载的模型和图形保存到全局变量中，然后由子进程获取(默认情况下使用'fork‘模式)，然后调用服务器。
Problem：对我来说奇怪的是，在加载keras模型之后，我不能锁定我不希望修改的图形，每次我在子进程中打开新的会话时，我都需要运行tf.global_variables_initializer()。但是，在不创建任何会话的情况下，在主流中虚拟运行可以正常工作。我知道在这种情况下tensorflow使用默认会话，但是图上的所有变量都应该在模型运行后初始化，所以我希望新会话可以与先前定义的图一起工作。
因此，我认为修改模型会使Python对子进程('fork‘模式)产生很多麻烦，这会产生计算和内存开销。
请原谅，我有很多代码。我使用的模型是遗留的，对我来说是黑盒，所以我的问题可能与它有关。Python版本是1.2 (我无法升级它，模型不兼容)， 3.6.5。
此外，也许我的解决方案效率低下，但有更好的解决方案，我将感谢您的建议。
我的设置如下：
1. 1.Tensorflow服务器在主进程中启动：
初始化服务器：
def start_tf_server():
import tensorflow as tf
cluster = tf.train.ClusterSpec({"local": [tf_server_address]})
server = tf.train.Server(cluster, job_name="local", task_index=0)
server.join() # block process from exiting在主进程中：
p = multiprocessing.Process(target=start_tf_server)
p.daemon=True
p.start() # this process never ends, unless tf server crashes
# WARNING! Graph initialization must be made only after Tf server start!
# Otherwise everything will hang
# I suppose this is because of another session will be
# created before the server one
# init model graph before branching processes
# share graph in the current process scope
interests = init_interests_for_process()
global_vars.multiprocess_globals["interests"] = interests2.init_interests_for_process()是一个模型初始化器，它加载我的遗留模型并在全局变量中共享它。我做了一次虚拟模型遍历来初始化图形上的所有内容，然后想要锁定图形。但它不起作用：
def init_interests_for_process():
# Prevent errors on my GPU and disable tensorflow
# complaining about CPU instructions
import os
os.environ["CUDA_VISIBLE_DEVICES"]= ""
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import tensorflow as tf
from tensorflow.contrib.keras import models
# create tensorflow graph
graph = tf.get_default_graph()
with graph.as_default():
TOKENIZER = joblib.load(TOKENIZER_FILE)
NN1_MODEL = models.load_model(NN1_MODEL_FILE)
with open(NN1_CATEGORY_NAMES_FILE, 'r') as f:
NN1_CATEGORY_NAMES = f.read().splitlines()
NN2_MODEL = models.load_model(NN2_MODEL_FILE)
with open(NN2_CATEGORY_NAMES_FILE, 'r') as f:
NN2_CATEGORY_NAMES = f.read().splitlines()
# global variable with all the data to be shared
interests = {}
interests["TOKENIZER"] = TOKENIZER
interests["NN1_MODEL"] = NN1_MODEL
interests["NN1_CATEGORY_NAMES"] = NN1_CATEGORY_NAMES
interests["NN2_MODEL"] = NN2_MODEL
interests["NN2_CATEGORY_NAMES"] = NN2_CATEGORY_NAMES
interests['all_category_names'] = NN1_CATEGORY_NAMES + \
NN2_CATEGORY_NAMES
# Reconstruct a Python object from a file persisted with joblib.dump.
interests["INTEREST_SETTINGS"] = joblib.load(INTEREST_SETTINGS_FILE)
# dummy run to create graph
x = tf.contrib.keras.preprocessing.sequence.pad_sequences(
TOKENIZER.texts_to_sequences("Dummy srting"),
maxlen=interests["INTEREST_SETTINGS"]["INPUT_LENGTH"]
)
y1 = NN1_MODEL.predict(x)
y2 = NN2_MODEL.predict(x)
# PROBLEM: I want, but cannot lock graph, as child process
# wants to run its own tf.global_variables_initializer()
# graph.finalize()
interests["GRAPH"] = graph
return interests3.现在我产生了这个进程(实际上，这个进程是从另一个进程派生的--层次结构很复杂)：
def foo(q):
result = call_function_which_uses_interests_model(some_data)
q.put(result)
return # I've read it is essential for destroying local variables
q = Queue()
p = Process(target=foo,args=(q,))
p.start()
p.join()
result = q.get() # retrieve data4.在这个过程中，我调用了模型：
# retrieve model from global variable
interests = global_vars.multiprocess_globals["interests"]
tokenizer = interests["TOKENIZER"]
nn1_model = interests["NN1_MODEL"]
nn1_category_names = interests["NN1_CATEGORY_NAMES"]
nn2_model = interests["NN2_MODEL"]
nn2_category_names = interests["NN2_CATEGORY_NAMES"]
input_length = interests["INTEREST_SETTINGS"]["INPUT_LENGTH"]
# retrieve graph
graph = interests["GRAPH"]
# open session for server
logger.debug('Trying tf server at ' + 'grpc://'+tf_server_address)
sess = tf.Session('grpc://'+tf_server_address, graph=graph)
# PROBLEM: and I need to run variables initializer:
sess.run(tf.global_variables_initializer())
tf.contrib.keras.backend.set_session(sess)
# finally, make a call to server:
with sess.as_default():
x = tf.contrib.keras.preprocessing.sequence.pad_sequences(
tokenizer.texts_to_sequences(input_str),
maxlen=input_length)
y1 = nn1_model.predict(x)
y2 = nn2_model.predict(x)如果我不锁定图表并在每次产生新进程时运行变量初始化器，则一切正常。(除了，每次调用都会有大约30-90MB的内存泄漏，python内存分析器看不到)。当我想要锁定图表时，我得到了关于未初始化变量的错误：
FailedPreconditionError (see above for traceback):
Attempting to use uninitialized value gru_1/bias
[[Node: gru_1/bias/read = Identity[T=DT_FLOAT, _class=["loc:@gru_1/bias"],
_device="/job:local/replica:0/task:0/cpu:0"](gru_1/bias)]]提前感谢！
回答 2
Stack Overflow用户
发布于 2018-10-30 08:53:27
你有没有考虑过TensorFlow服务？https://www.tensorflow.org/serving/
通常，您会希望缓存Sessions，我认为这是TF Serving使用的策略。这将是到目前为止将TF模型部署到数据中心的最佳体验。
您还可以采用另一个方向，即tf.enable_eager_execution()，这样就不再需要会话了。变量仍然会被初始化，尽管它是在创建Python变量对象后立即发生的。
但是如果你真的想创建和销毁会话，你可以用常量("freeze" it)替换图中的变量。在这种情况下，我还会考虑禁用图形优化，因为默认情况下，使用一组新的提要和获取进行的第一次session.run调用将花费一些时间来优化图形(通过GraphOptions proto中的RewriterConfig配置)。
(扩展自对该问题的评论)
Stack Overflow用户
发布于 2018-10-24 03:30:53
我不确定这是否对您有帮助，但需要知道，在tensorflow中，变量只为给定的Session初始化。变量需要在使用它的每个Session中进行初始化--即使在最简单的场景中也是如此：
import tensorflow as tf
x = tf.Variable(0.)
with tf.Session() as sess:
tf.global_variables_initializer().run()
# x is initialized -- no issue here
x.eval()
with tf.Session() as sess:
x.eval()
# Error -- x was never initialized in this session, even though
# it has been initialized before in another sessionhttps://stackoverflow.com/questions/52700621
复制相似问题
腾讯云开发者
