前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习与神经网络:制作数据集,完成应用(1)

深度学习与神经网络:制作数据集,完成应用(1)

原创
作者头像
云时之间
发布2018-05-21 23:18:32
3.3K4
发布2018-05-21 23:18:32
举报
文章被收录于专栏:云时之间

在这一篇文章里,我们将继续上一篇文章的工作,并且在上一篇文章的前提下加入数据集的制作,最终我们将完成这个全连接神经网络的小栗子.

先说说我们上一篇文章我们的自制数据集的一切缺点,第一,数据集过于分散,在一个文件夹里读取难免导致内存利用率低,而我们将会使用TensorFlow的tfrecords()函数来讲图片和标签制作成这种二进制文件,这样我们的内存利用率会增加不少.

将数据保存为tfrecords文件可以视为这样一个流程:

提取features -> 保存为Example结构对象 -> TFRecordWriter写入文件

而如果我们要存储训练数据的时候,我们会使用tf.train.Example()来去存储,并且训练数据的特征用键值对来表示.

现在让我们看看代码:

1:首先,我们先加入文件的路径.这些文件是从mnist数据集中随机找了一些,当然,我们也可以换成别的.

定义变量,加入引用的路径:

2:制作数据集.

首先我们新建一个writer.

然后使用for循环来去遍历我们文件中的每一张图和每一张图的标签

最后我们把每张图片及其标签封装到example中

最终将其序列化后即可完成.

这样我们的数据集就已经制作完成了.

3:读取tfrecords()文件

具体代码:

先从read_tfRecord函数说起:

在这个函数中,我们主要使用的是:

filename_queue = tf.train.string_input_producer([tfRecord_path])

在使用这个函数后,这个函数会产生一个先进先出的队列,文本阅读器会用它来读取数据.

而这个队列,我们在get_tfrecord中使用到:

具体的参数,在此说明下: tf.train.string_input_producer( string_tensor, #存储图像和标签信息的 TFRecord 文件名列表

num_epochs=None, #循环读取的轮数(可选)

shuffle=True,#布尔值(可选),如果为 True,则在每轮随机打乱读取顺序

seed=None,#随机读取时设置的种子(可选)

capacity=32, #设置队列容量

shared_name=None, #如果设置,该队列将在多个会话中以给定名 称共享。所

name=None,#操作的名称(可选)

cancel_op=None)#取消队列(None)

接着说reader_tfrecord中:

reader = tf.TFRecordReader() #新建一个 reader

这个操作是把读出的样本在serialized_example中进行解析,标签和图片的键名应该和制作 tfrecords 的键名相同.该函数可以将 tf.train.Example 协议内存块(protocol buffer)解析为张量。

img = tf.decode_raw(features['img_raw'], tf.uint8) #将 img_raw 字符串转换为 8 位无符号整型 img.set_shape([784]) #将形状变为一行 784 列

img = tf.cast(img, tf.float32) * (1. / 255) #变成 0 到 1 之间的浮点数

label = tf.cast(features['label'], tf.float32)#把标签列表变为浮点数

return image,label #返回图片和标签(跳回到 get_tfrecord)

回到get_tfrecord中:

tf.train.shuffle_batch(),随机读取一个batch的数据

这个函数值得说说,完整的格式如下:

tf.train.shuffle_batch(

tensors, #待乱序处理的列表中的样本(图像和标签)

batch_size, #从队列中提取的新批量大小

capacity, #队列中元素的最大数量

min_after_dequeue, #出队后队列中的最小数量元素,用于确保元素 的混合级别

num_threads=1, #排列 tensors 的线程数

seed=None, #用于队列内的随机洗牌

enqueue_many=False, #tensor 中的每个张量是否是一个例子

shapes=None, #每个示例的形状

allow_smaller_final_batch=False, #如果为 True,则在 队列中剩余数量不足时允许最终批次更小。

shared_name=None, #如果设置,该队列将在多个会话中以给定名称 共享。

name=None #操作的名称)

最后返回的图片和标签为随机抽取的 batch_size 组

而在下一篇文章中,我们将在反向传播文件中修改图片标签的获取接口,并且利用多线程来去提高图片和标签的批处理获取效率.

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档