如何在火花上部署tensorflow模型只进行推理
如何在火花上部署tensorflow模型只进行推理
提问于 2019-07-02 09:59:18
我想部署一个大的模型，例如伯特，在火花进行推断，因为我没有足够的GPU。现在我有两个问题。
- 我将模型导出为pb格式，并使用SavedModelBundle接口加载模型。
SavedModelBundle bundle=SavedModelBundle.load("E:\\pb\\1561992264","serve");但是，我找不到一种方法来加载用于hdfs文件系统路径的pb模型
- 星火环境的Glibc版本与我训练的模型的tensorflow版本不兼容。不管怎么说绕开这条路？
我不确定这是为tensorflow模式服务的好方法。如有其他建议，敬请见谅！
回答 1
Stack Overflow用户
发布于 2021-06-16 18:44:14
您可以使用https://github.com/maxpumperla/elephas，它可以在Spark上对Keras模型进行分布式培训和推断。由于您提到了Tensorflow模型，这可能需要一个转换(在这里详细介绍：How can I convert a trained Tensorflow model to Keras?)，但是一旦它是一个Keras模型，它应该非常简单：
from elephas.spark_model import SparkModel
model = ... # load Keras model
data = ... # load in the data you want to perform inference on
spark_model = SparkModel(model)
predictions = spark_model.predict(data) # perform distributed inference on Spark cluster or local cores, depending on how Spark session is configured页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56849900
复制相关文章
相似问题
腾讯云开发者
