首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

使用`tf.contrib.predictor`从`tf.estimator.export_savedmodel`预测TF 1.13的批次

tf.contrib.predictor是TensorFlow中的一个模块,用于从tf.estimator.export_savedmodel导出的SavedModel中进行预测。tf.estimator.export_savedmodel是TensorFlow Estimator API中的一个函数,用于导出模型的SavedModel格式,以便在生产环境中进行推理。

在TF 1.13中,可以使用以下步骤来使用tf.contrib.predictortf.estimator.export_savedmodel预测批次数据:

  1. 首先,确保已经训练好并导出了SavedModel。可以使用tf.estimator.Estimator训练模型,并使用export_savedmodel函数导出SavedModel。具体代码如下:
代码语言:txt
复制
# 定义Estimator模型
estimator = tf.estimator.Estimator(model_fn=model_fn, model_dir=model_dir)

# 训练模型

# 导出SavedModel
def serving_input_receiver_fn():
    # 定义输入特征
    feature_placeholder = {
        'input_feature': tf.placeholder(tf.float32, [None, input_size])
    }
    return tf.estimator.export.ServingInputReceiver(feature_placeholder, feature_placeholder)

estimator.export_savedmodel(export_dir, serving_input_receiver_fn)
  1. 导出SavedModel后,可以使用tf.contrib.predictor.from_saved_model函数创建一个预测器。具体代码如下:
代码语言:txt
复制
# 创建预测器
predictor = tf.contrib.predictor.from_saved_model(saved_model_dir)
  1. 使用预测器进行批次预测。可以将输入数据作为字典传递给预测器的predict方法,并获取预测结果。具体代码如下:
代码语言:txt
复制
# 准备输入数据
input_data = {
    'input_feature': input_feature_data
}

# 进行批次预测
predictions = predictor.predict(input_data)

以上是使用tf.contrib.predictortf.estimator.export_savedmodel预测TF 1.13的批次数据的基本步骤。根据具体的应用场景和需求,可以进一步优化和定制化预测过程。

腾讯云提供了一系列与云计算相关的产品,包括计算、存储、数据库、人工智能等。具体推荐的产品和产品介绍链接地址可以根据具体需求和场景来选择,例如:

  • 云服务器(CVM):提供弹性计算能力,适用于各种计算任务。产品介绍链接
  • 云数据库MySQL版(CDB):提供稳定可靠的云数据库服务,适用于数据存储和管理。产品介绍链接
  • 人工智能机器学习平台(AI Lab):提供丰富的人工智能算法和模型训练平台,适用于机器学习任务。产品介绍链接
  • 云函数(SCF):提供事件驱动的无服务器计算服务,适用于快速构建和部署应用。产品介绍链接

以上是一些腾讯云的产品示例,具体选择和推荐的产品应根据实际需求进行评估和决策。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

业界 | TensorFlow 携手 NVIDIA,使用 TensorRT 优化 TensorFlow Serving 性能

目前,TensorFlow Serving 1.13 已实现对 TF-TRT 支持,而不久后 TensorFlow 2.0 也将支持 TF-TRT 实现。...目前,TensorFlow Serving 1.13 已实现对 TF-TRT 支持,而不久后 TensorFlow 2.0 也将支持 TF-TRT 实现。 ?...resnet_client.py 会给服务器发送一些图像,并返回服务器所作预测。...要注意是,转换后模型无法处理批次规模大于这里指定了大小输入,但对于批次规模更小输入,它还是能够处理。 --is_dynamic_op 参数让它知道在模型运行时进行实际转换。...此外,作为一次演示,上文中性能数值仅适用于我们所使用模型和运行该案例设备,不过它的确体现出使用 TF-TRT 所带来性能优势。

1.3K20

怎样用英伟达TensorRT优化TensorFlow Serving性能?谷歌工程师一文详解

在 之前文章 中,我们介绍了如何借助 Docker 使用 TensorFlow Serving。在本文中,我们将展示以同样方式运行经 TF-TRT 转换模型有多简单。...resnet_client.py 会发送一些图像给服务器,并返回服务器所作预测。现在让我们终止 TensorFlow Serving 容器运行,以释放所占用 GPU 资源。...指示输入批次大小上限。...请注意,转换后模型无法处理批次规模大于此处所指定大小输入,但可处理批次规模更小输入 —is_dynamic_op 指示在模型运行时进行实际转换。...此外,以上为展示内容,其中性能数字仅适用于我们所使用模型和运行本示例设备,但它的确展现出使用 TF-TRT 所带来性能优势。

3.3K40

Methods | scBasset:基于DNA序列单细胞ATAC-seq卷积神经网络建模

作者扩展了Basset架构,DNA序列中预测单细胞染色质可及性,使用瓶颈层学习单细胞低维表示。...2 结果 scBasset预测单细胞染色质在突出峰值上可及性 scBasset是一种深度CNN模型,用于DNA序列预测染色质可及性。...具体来说,在瓶颈层之后,作者添加了第二个全连接层来预测批次效应对可及性贡献。即在计算最终sigmoid之前添加了批次层和细胞特异性层输出。...由于scBasset可以DNA序列预测染色质可及性,作者期望模型能够捕获预测TF结合序列信息。为了预测单细胞TF活性,作者利用scBasset模型灵活性来预测任意序列。...scBasset经过训练,可以ATAC峰值下DNA序列预测单个细胞可及性,学习嵌入向量以表示该过程中单个细胞。

53230

锅炉工到AI专家(10)

train_op = optimizer.minimize(loss_op) # Evaluate model (with test logits, for dropout to be disabled) #使用上面定义预测算法进行预测...原来训练集中读取数据是[128批次,784数据]张量。 随后在主循环中改成了:[128,28,28]张量喂入RNN。...在训练结束生成古诗时候,这部分实际是没有用,但训练跟生成集成在同一个程序中,就忽略这点工作了。需要注意是,生成古诗时候,批次会设定为1,因为是通过一个汉字预测下一个汉字。...我们之前所有的案例,每个训练批次数据必须是定长,上一个RNN案例中也使用了rnn.static_rnn,这表示使用定长数据集。...生成时候所使用预测模型批次是1,因为使用一个汉字去预测后一个。这个在main()中会自动调整。 其余部分相信凭借注释和以前经验应当能看懂了: #!

68650

使用TensorFlow实现股票价格预测深度学习模型

下载我使用数据集 注意:本文只是基于TensorFlow一个实战教程。真正预测股价是非常具有挑战性,尤其在分钟级这样频率较高预测中,要考虑因素量是庞大。...当你在真实生活中进行预测时你并没有来自未来观测信息,所以相应地,训练数据特征缩放所用统计值应当来源于训练集,测试集也一样。否则,在预测使用了包含未来信息往往会导致性能指标向好方向偏移。...这里我使用是默认初始化器之一——tf.variance_scaling_initializer()。...通常我们使用minibatch方式进行训练(小batch size)。在这种训练方式中,我们训练集中随机抽取n = sample_size数据样本送入网络进行训练。...到达输出层后,TensorFlow将把模型的当前预测值与当前批次实际观测值Y进行比较。随后,TensorFlow将根据选择学习方案对网络参数进行优化更新。

11.4K122

《Scikit-Learn、Keras与TensorFlow机器学习实用指南(第二版)》第19章 规模化训练和部署TensorFlow模型

安装 TensorFlow Serving 有多种方式安装TF Serving:使用Docker镜像、使用系统包管理器、源代码安装,等等。...提示:TF Serving另一个功能是自动批次化,要使用的话,可以在启动时使用选项--enable_batching。...当TF Serving在短时间内收到多个请求时(延迟是可配置),可以自动做批次化,然后再使用模型。这样能利用GPU提升性能。模型返回预测之后,TF Serving会将每个预测返回给正确客户端。...同时,为了解决饱和问题,最好使用一些强大GPU,而不是大量一般GPU,最好将GPU集中在有内网服务器中。还可以将浮点数精度32位(tf.float32)降到16位(tf.bfloat16)。...训练好模型后,就可以做预测了:调用predict()方法,就能自动在模型复制上分割批次,并行做预测批次大小要能被模型复制数量整除)。如果调用模型save()方法,会像常规模型那样保存。

6.6K20

这里有一份极简教程

神经网络训练,需要利用小批次数据(mini-batch),来近似得到关于神经元权重损失函数梯度。在训练过程中,随机批次操作能防止过拟合和降低硬件压力。...在每次运行时,这个“批处理窗口”根据箭头指示方向,以定义好长度左边滑到右边。...计算Loss 这是计算图最后一部分,我们建立了一个状态到输出全连接层,用于softmax分类,标签采用One-hot编码,用于计算每个批次Loss。...它将会在时间维度上绘制Loss值,显示在训练批次中数据输入、数据输出和网络结构对不同样本实时预测效果。...蓝色条表示用于训练输入信号,红色条表示训练得到输出回波,绿色条是RNN网络产生预测回波。不同条形图显示了在当前批次中多个批数据预测回波。 我们算法能很快地完成训练任务。

97360

入门 | Tensorflow实战讲解神经网络搭建详细过程

:在执行第一句命令时,就会默认地方下载MNIST数据集,下载下来数据集会以压缩包形式存到指定目录,如下图所示。...具体来看,我们会把训练集中图片以batch_size批次大小,分批传入到第一个参数中(默认为None);X第二个参数代表把图片转换为长度为784向量;Y第二个参数表示10个不同类标。...函数对结果进行预测,然后选择平方差损失函数计算出loss,再使用梯度下降法优化方法对loss进行最小化(梯度下降法学习率设置为0.2)。...接着使用argmax函数返回最大值所在位置,再使用equal函数与正确类标进行比较,返回一个bool值,代表预测正确或错误类标;最后使用cast函数把bool类型预测结果转换为float类型(...而对于每一轮迭代过程,我们用不同批次图片进行训练,每次训练100张图片,每次训练图片数据和对应标签分别保存在 batch_x、batch_y中,接着再用run方法执行这个迭代过程,并使用feed_dict

47340

《机器学习实战:基于Scikit-Learn、Keras和TensorFlow》第16章 使用RNN和注意力机制进行自然语言处理

所以接下来会 character RNN 开始(预测句子中出现下一个角色),继续介绍RNN,这可以让我们生成一些原生文本,在过程中,我们会学习如何在长序列上创建TensorFlow Dataset。...虽然文笔一般,但只是通过学习来预测一句话中下一个角色,模型在单词、语法、断句等等方面做很好。接下来一步一步搭建Char-RNN,创建数据集开始。...生成假莎士比亚文本 要使用Char-RNN生成新文本,我们可以给模型输入一些文本,让模型预测出下一个字母,将字母添加到文本尾部,再将延长后文本输入给模型,预测下一个字母,以此类推。...最简单办法是使用只包含一个窗口批次”: dataset = tf.data.Dataset.from_tensor_slices(encoded[:train_size]) dataset = dataset.window...对影评做批次使用preprocess()将其转换为词短序列,然后使用一个简单encode_words()函数,利用创建词表来编码这些词,最后预提取下一个批次: def encode_words(

1.7K21

使用TensorFlow训练循环神经网络语言模型

并且使用语言模型来生成新文本。 在本文中,我们更加关注是,如何使用RNN来推测下一个词。 数据准备 TensorFlow官方文档使用是Mikolov准备好PTB数据集。...batch_size: 神经网络使用随机梯度下降,数据按多个批次输出,此为每个批次数据量 num_steps: 每个句子长度,相当于之前描述n大小,这在循环神经网络中又称为时序长度。...首先,程序每一次取了num_steps个词作为一个句子,即x,以这num_steps个词后面的一个词作为它下一个预测,即为y。...读取输入 让模型可以按批次读取数据。...): """使用adam优化器""" optimizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate

83630

Python中TensorFlow长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据

下载数据 - 使用雅虎财经收集股市数据 分割训练-测试数据,并进行数据归一化 应用单步预测技术。 讨论LSTM模型。 用当前数据预测和可视化未来股票市场 为什么你需要时间序列模型?...似乎对于非常短预测(提前一天)来说,这个模型还不算太差。鉴于股票价格不会在一夜之间0变化到100,这种行为是合理。接下来,使用指数移动平均线。...batch_size = 500 # 一个批次样本数 num_nodes = [200,200,150] # 我们所使用深层LSTM堆栈中每一层隐藏节点数量 n_layers = len(num_nodes...)   sample_h.append(tf.Variable(tf.zeros([1, num_nodes[li]]))) 运行LSTM 在这里,你将训练并预测几个历时股票价格走势,并观察预测结果是否随着时间推移而变得更好或更差...计算预测n_predict_once点与这些时间戳真实股票价格之间MSE损失 展开一组num_unrollings批次 用未滚动批次训练神经网络 计算平均训练损失 对于测试集每个起点 ..

58800

Python中TensorFlow长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据

下载数据 - 使用雅虎财经收集股市数据 分割训练-测试数据,并进行数据归一化 应用单步预测技术。 讨论LSTM模型。 用当前数据预测和可视化未来股票市场 为什么你需要时间序列模型?...似乎对于非常短预测(提前一天)来说,这个模型还不算太差。鉴于股票价格不会在一夜之间0变化到100,这种行为是合理。接下来,使用指数移动平均线。...batch_size = 500 # 一个批次样本数 num_nodes = [200,200,150] # 我们所使用深层LSTM堆栈中每一层隐藏节点数量 n_layers = len(num_nodes...)   sample_h.append(tf.Variable(tf.zeros([1, num_nodes[li]]))) 运行LSTM 在这里,你将训练并预测几个历时股票价格走势,并观察预测结果是否随着时间推移而变得更好或更差...计算预测n_predict_once点与这些时间戳真实股票价格之间MSE损失 展开一组num_unrollings批次 用未滚动批次训练神经网络 计算平均训练损失 对于测试集每个起点 ..

47101

Python中TensorFlow长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据

本文探索Python中长短期记忆(LSTM)网络,以及如何使用它们来进行股市预测 在本文中,你将看到如何使用一个被称为长短时记忆时间序列模型。LSTM模型很强大,特别是在保留长期记忆方面。...理解为什么你需要能够预测股票价格变动。 下载数据 - 使用雅虎财经收集股市数据 分割训练-测试数据,并进行数据归一化 应用单步预测技术。 讨论LSTM模型。...似乎对于非常短预测(提前一天)来说,这个模型还不算太差。鉴于股票价格不会在一夜之间0变化到100,这种行为是合理。接下来,使用指数移动平均线。...batch_size = 500 # 一个批次样本数 num_nodes = [200,200,150] # 我们所使用深层LSTM堆栈中每一层隐藏节点数量 n_layers = len(num_nodes...计算预测n_predict_once点与这些时间戳真实股票价格之间MSE损失 展开一组num_unrollings批次 用未滚动批次训练神经网络 计算平均训练损失 对于测试集每个起点 ..

1K10

Python中TensorFlow长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化

p=23689 本文探索Python中长短期记忆(LSTM)网络,以及如何使用它们来进行股市预测。 在本文中,你将看到如何使用一个被称为长短时记忆时间序列模型。...理解为什么你需要能够预测股票价格变动。 下载数据 - 使用雅虎财经收集股市数据 分割训练-测试数据,并进行数据归一化 应用单步预测技术。 讨论LSTM模型。...似乎对于非常短预测(提前一天)来说,这个模型还不算太差。鉴于股票价格不会在一夜之间0变化到100,这种行为是合理。接下来,使用指数移动平均线。...batch_size = 500 # 一个批次样本数 num_nodes = \[200,200,150\] # 我们所使用深层LSTM堆栈中每一层隐藏节点数量 n\_layers = len(...计算预测n\_predict\_once点与这些时间戳真实股票价格之间MSE损失 展开一组num_unrollings批次 用未滚动批次训练神经网络 计算平均训练损失 对于测试集每个起点

1.3K30

《机器学习实战:基于Scikit-Learn、Keras和TensorFlow》第12章 使用TensorFlow自定义模型并训练

比如,考虑一个二元分类器准确性。第3章介绍过,准确率是真正值除以正预测数(包括真正值和假正值)。假设模型在第一个批次做了5个正预测,其中4个是正确,准确率就是80%。...再假设模型在第二个批次做了3次正预测,但没有一个预测对,则准确率是0%。如果对这两个准确率做平均,则平均值是40%。但它不是模型在两个批次准确率!...数据和前面的真正值和正预测一样。第一个批次之后,正确率是80%;第二个批次之后,正确率是50%(这是完整过程准确率,不是第二个批次准确率)。...当将这个类实例当做函数使用时会调用update_state()方法(正如Precision对象)。它能用每个批次标签和预测值(还有样本权重,但这个例子忽略了样本权重)来更新变量。...然后训练集随机批次采样。 在tf.GradientTape()内部,对一个批次做了预测(将模型用作函数),计算其损失:损失等于主损失加上其它损失(在这个模型中,每层有一个正则损失)。

5.2K30

请注意更新TensorFlow 2.0旧代码

该程序可将现有的 TensorFlow 1.13 Python 脚本转换为 TensorFlow 2.0,以帮助加快您升级过程。...我们已尝试自动化处理尽可能多升级任务,但脚本仍无法处理一些句法和风格方面的变更。 某些 API 符号可能无法仅使用字符串替代方案简单升级。...升级使用这些模块代码可能需要额外使用一个库(如 absl.flags)或切换至 tensorflow/addons 中软件包。...注意:使用 pip 安装 TensorFlow 1.13 及以上版本(包括 nightly 2.0 构建版)时,系统会自动安装 tf_upgrade_v2。...在 tf_upgrade_v2 运行升级后脚本并将其导出后,您便可运行模型并进行检查,以确保您输出与 TensorFlow 1.13 类似: 注意: 在运行此脚本前,请勿手动升级部分代码。

78110

深度学习流水线并行GPipe (2) ----- 梯度累积

经过若干个小批次后(即一个batch中所有小批次),用每个小批次计算梯度累积和去进行优化器迭代更新参数、梯度清零操作。 这样就跟把全部数据一次性送入模型进行训练效果一样了。...在使用时,需要注意适当扩大学习率。...我们结合其他解释大致得出如下: PyTorch设计原理上来说,在每次进行前向计算得到预测值时,会产生一个用于梯度回传计算图,这张图储存了进行反向传播需要中间结果,当调用了.backward(...我们 stackoverflow 得到示例代码如下: ## 定义优化器 opt = tf.train.AdamOptimizer() ## 得到你模型中所有可训练变量 tvs = tf.trainable_variables...tf.no_op() # 梯度累积条件,如果达到了小批次迭代数目,则应用梯度,清零梯度,否则就不做操作 accum_step = tf.cond( tf.equal(

1.3K30

升级工具使用指南在此

转载自 TensorFlow官方公众号 TensorFlow 2.0发布在即,官方提前发布了一个升级程序tf_upgrade_v2,还有中文使用指南。...该程序可将现有的 TensorFlow 1.13 Python 脚本转换为 TensorFlow 2.0,以帮助加快您升级过程。...升级使用这些模块代码可能需要额外使用一个库(如 absl.flags)或切换至 tensorflow/addons 中软件包。...注意:使用 pip 安装 TensorFlow 1.13 及以上版本(包括 nightly 2.0 构建版)时,系统会自动安装 tf_upgrade_v2。...在 tf_upgrade_v2 运行升级后脚本并将其导出后,您便可运行模型并进行检查,以确保您输出与 TensorFlow 1.13 类似: ? 注意: 在运行此脚本前,请勿手动升级部分代码。

1.5K20

【让调参全部自动化】自动机器学习,神经网络自主编程(代码与诀窍)

当然,两者有所重叠,但机器学习只是数据科学中众多工具一种,而且机器学习用在预测很好,但描述性分析等任务里根本不会用到机器学习。 不过,就算是预测任务,数据科学涵盖也不仅仅是实际预测模型。...然后,Enam 算法研究角度阐述了这个问题。如果一个算法不起作用,或者做得不够好,而且选择和优化过程是迭代,这就给自动化提供了机会,从而有了自动机器学习上场余地。...final_state 返回最后一个单元状态,这个状态可以在训练期间作为下一批次新初始状态使用(假设下一批次在逻辑上紧连着上一批次)。 3)Graph 输出 ?...我们使用 tf.one_hot 表示输出与输入有相同编码。然后,将数组 (tf.reshape ()) 调整到与线性输出 tf.matmul(..) + b 相同维度。...我们误差演变开始: ? 最后,我们来看模型能够生成代码: ? 看到模型能够清楚地了解一个程序一般结构,感觉真是太酷了。 注意,在数据集中没有什么名为“super_fold”函数。

1.8K40
领券