前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >tensorflow:使用tfrecords时的注意事项

tensorflow:使用tfrecords时的注意事项

作者头像
ke1th
发布于 2018-01-02 03:42:02
发布于 2018-01-02 03:42:02
1.3K0
举报

使用 tfrecords 时的注意事项

  • 确保 string_input_producer 中的文件名字是正确的。
  • string_input_producer(file_names, num_epochs=100000, shuffle=True) 当指定 num_epochs 时,在初始化模型参数的时候,一定要 记得 tf.local_variables_initializer().run() , 因为 tf 会将 num_epoch 作为 local variable。 否则的话,会报错 Attempting to use uninitialized value ReadData/input_producer/limit_epochs/epochs
  • 解码 tfrecords 时的类型一定要和制作 tfreords 时的类型一致: 这个问题主要出现在 bytestring 上,在保存图片数据时候,我们通常会
    1. 将图片 .tostring() 转成 bytestring
    2. 制作 tfrecords
    3. 然后在解码的时候,我们会用 decode_raw 将bytestring 解码出来。
    4. decode_row(bytes, out_type)

    这里要注意的是,out_type一定要和 .tostring() 之前的数据类型一致。

  • Cannot create initializer for non-floating point type. if you encounted this error, you shoud check whether the image casted to float32 dtype
  • 需要 batch_size 个样本,但是获得 0 个: 这种问题应该检查
    • string input producer 中的文件名是否正确
    • 有没有 start_queue_runner
    • 有没有不小心将 执行 enqueue_op 的线程给关了
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
TFRecord简介,原理分析,代码实现?[通俗易懂]
在利用深度学习算法搭建完成网络之后,我们要对网络进行训练,要训练网络就要有训练数据,通常我们会直接对硬盘上存放数据进行操作,来fetch到网络中。这样直接从硬盘上读取 数据太慢了,为了加快数据读取,今天我们介绍一种比较好的数据格式 tfrecord,那么什么是tfrecord呢?
全栈程序员站长
2022/08/02
5920
TFRecord简介,原理分析,代码实现?[通俗易懂]
基于tensorflow的图像处理(三) 多线程输入图像处理框架
虽然一个TFRecord文件中可以存储多个训练样例,但是当训练数据量较大时,可将数据分成多个TFRecord文件来提高处理效率。tensorflow提供了tf.train.match_filenames_once函数来获取符合一个正则表达式的所有文件,得到的文件列表可以通过tf.train.string_input_producer函数进行有效的管理。
狼啸风云
2019/07/01
1.2K0
基于tensorflow的图像处理(三) 多线程输入图像处理框架
tf API 研读4:Inputs and Readers
tensorflow中数据的读入相关类或函数: 占位符(Placeholders) tf提供一种占位符操作,在执行时需要为其提供数据data。 操作 描述 tf.placeholder(dtype, shape=None, name=None) 为一个tensor插入一个占位符 eg:x = tf.placeholder(tf.float32, shape=(1024, 1024)) tf.placeholder_with_default(input, shape, name=None)
MachineLP
2018/01/09
1.6K0
tf API 研读4:Inputs and Readers
十图详解TensorFlow数据读取机制(附代码)
作者 | 何之源 在学习TensorFlow的过程中,有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略,网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式,用最简单的语言,为大家详细解释一下TensorFlow的数据读取机制,文章的最后还会给出实战代码以供参考。 一、TensorFlow读取机制图解 首先需要思考的一个问题是,什么是数据读取?以图像数据为例,读取数据的过程可以用下图来表示: 假设我们的硬盘中有一个图片数据集0001.jpg,0002.jpg,0003.jp
AI科技大本营
2018/04/26
1.1K0
十图详解TensorFlow数据读取机制(附代码)
tensorflow中协调器 tf.train.Coordinator
TensorFlow的Session对象是支持多线程的,可以在同一个会话(Session)中创建多个线程,并行执行。在Session中的所有线程都必须能被同步终止,异常必须能被正确捕获并报告,会话终止的时候, 队列必须能被正确地关闭。TensorFlow提供了两个类来实现对Session中多线程的管理:tf.Coordinator和 tf.QueueRunner,这两个类往往一起使用。
狼啸风云
2019/07/02
1.3K0
tensorflow中协调器 tf.train.Coordinator
TensorFlow基础(二)
而在tensorflow中提供多线程,并行的执行任务,队列(数据的共享),文件(tfrecords)的方式读取数据。来提高解析速度。
不断折腾
2019/09/23
7050
深度学习与神经网络:制作数据集,完成应用(1)
在这一篇文章里,我们将继续上一篇文章的工作,并且在上一篇文章的前提下加入数据集的制作,最终我们将完成这个全连接神经网络的小栗子.
云时之间
2018/05/21
3.3K4
利用TFRecords存储于读取带标签的图片
TFRecords其实是一种二进制文件,虽然它不如其他格式好理解,但是它能更好的利用内存,更方便复制和移动,并且不需要单独的标签文件
演化计算与人工智能
2020/08/14
1.2K0
利用TFRecords存储于读取带标签的图片
tensorflow学习笔记(四十二):输入流水线
ensorflow 如何读取数据 tensorflow有三种把数据放入计算图中的方式: 通过feed_dict 通过文件名读取数据:一个输入流水线 在计算图的开始部分从文件中读取数据 把数据预加载到一
ke1th
2018/01/02
1.2K0
实例介绍TensorFlow的输入流水线
在训练模型时,我们首先要处理的就是训练数据的加载与预处理的问题,这里称这个过程为输入流水线(input pipelines,或输入管道,[参考:https://www.tensorflow.org/performance/datasets_performance])。在TensorFlow中,典型的输入流水线包含三个流程(ETL流程):
机器学习算法工程师
2018/07/27
1.6K0
实例介绍TensorFlow的输入流水线
Tensorflow笔记:高级封装——tf.Estimator
Google官方给出了两个tensorflow的高级封装——keras和Estimator,本文主要介绍tf.Estimator的内容。tf.Estimator的特点是:既能在model_fn中灵活的搭建网络结构,也不至于像原生tensorflow那样复杂繁琐。相比于原生tensorflow更便捷、相比与keras更灵活,属于二者的中间态。
共产主义搬砖人
2021/09/24
2.3K0
深度学习_1_Tensorflow_2_数据_文件读取
子线程读取数据 向队列放数据(如每次100个),主线程学习,不用全部数据读取后,开始学习
Dean0731
2020/05/08
7850
TensorFlow中读取图像数据的三种方式
从tesorflow1.11之后,(大概是这个版本号),谷歌推出了tf.data模块来读取数据,甚至在tensorflow2.0中,取消了数据队列管道,所以我建议大家学习tf.data模块。未来我也会做详细的tf.data模块使用说明。
狼啸风云
2020/12/29
7560
TensorFlow TFRecord数据集的生成与显示
本文介绍如何利用 TensorFlow 将多个 TFRecord 文件读取到内存中并显示为图片。首先介绍了 TFRecord 文件的结构和读取方法,然后通过一个具体的例子演示了如何使用 TensorFlow 读取和显示车牌号图片。最后,通过多线程的方式批量读取多个 TFRecord 文件,并将它们显示为图片。
chaibubble
2018/01/02
6.8K0
TensorFlow TFRecord数据集的生成与显示
【TensorFlow】理解 Estimators 和 Datasets
本文介绍了如何使用 TensorFlow Datasets 和 Estimators 在 Python 中处理图像数据。首先介绍了如何使用 TensorFlow Datasets 构建数据集,然后介绍了如何使用 Estimators 在 TensorFlow 中实现自定义模型。通过这些技术,可以快速构建出用于图像分类、物体检测等任务的模型。
Alan Lee
2018/01/08
3.6K2
【TensorFlow】理解 Estimators 和 Datasets
CV新进展 | 迭代视觉推理框架 | 李飞飞团队 | Tensorflow的MNIST案例
陈鑫磊、李佳、李飞飞、Abhinav Gupta等人提出了一种新的迭代视觉推理框架
用户7623498
2020/08/04
4320
【技术分享】TFRecord 实践
对于数据量较小而言,可能一般选择直接将数据加载进内存,然后再分batch输入网络进行训练。但是,如果数据量较大,这样的方法就不适用了,因为太耗内存,所以这时最好使用 tensorflow 提供的队列 queue,也就是第二种方法从文件读取数据。对于一些特定的读取,比如csv文件格式,官网有相关的描述。而 TFRecords 是tensorflow 的内定标准形式,更加高效的读取方法。 Tensorflow 读取数据的三种方式:
腾讯云TI平台
2019/07/03
2.2K1
【技术分享】TFRecord 实践
Tensorflow读取数据(一)
数据和算法是深度学习最重要的两大块。而更基础的首先是要熟练掌握一个框架来支撑算法的执行。 我个人使用最多的是tensorflow平台。就从最基础的数据输入开始记录吧。
languageX
2021/01/26
1.1K0
Tensorflow笔记:TFRecord的制作与读取
Google官方推荐在对于中大数据集来说,先将数据集转化为TFRecord数据,这样可加快你在数据读取,预处理中的速度。除了“快”,还有另外一个优点就是,在多模态学习(比如视频+音频+文案作为特征)中可以将各种形式的特征预处理后统一放在TFRecord中,避免了读取数据时候的麻烦。
共产主义搬砖人
2021/09/24
2K0
代码+实战:TensorFlow Estimator of Deep CTR —— DeepFM/NFM/AFM/FNN/PNN
深度学习在 ctr 预估领域的应用越来越多,新的模型不断冒出。从 ctr 预估问题看看 f(x) 设计—DNN 篇(https://zhuanlan.zhihu.com/p/28202287)整理了各模型之间的联系之后,一直在琢磨这些东西如何在工业界落地。经过几个月的调研,发现目前存在的一些问题: 开源的实现基本都是学术界的人在搞,距离工业应用还有较大的鸿沟 模型实现大量调用底层 API,各版本实现千差万别,代码臃肿难懂,迁移成本较高 单机,放到工业场景下跑不动 针对存在的问题做了一些探索,摸索出一套
AI研习社
2018/03/16
5.8K1
代码+实战:TensorFlow Estimator of Deep CTR —— DeepFM/NFM/AFM/FNN/PNN
推荐阅读
相关推荐
TFRecord简介,原理分析,代码实现?[通俗易懂]
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文