前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >tensorflow动态加载文件

tensorflow动态加载文件

作者头像
用户1733462
发布2018-06-07 14:59:24
1.3K0
发布2018-06-07 14:59:24
举报
文章被收录于专栏:数据处理数据处理

如果把文件全部加载到内存中,对大数据量来说,是不可行的,tensorflow使用列队,通过多线程来操作队列进出。举例子来说明>

tf.train.slice_input_producer是一个tensor生成器,作用是按照设定,每次从一个tensor列表中按顺序或者随机抽取出一个tensor放入文件名队列。

下面这个例子是将文件名加入到队列中,每次从列队中只能取出一个tensor,然后读取图片数据,还是频繁io操作,

代码语言:javascript
复制
import tensorflow as tf
import matplotlib.pyplot as plt
%matplotlib inline
def get_image(image_path):  
    content = tf.read_file(image_path)
    tf_image = tf.image.decode_jpeg(content, channels=3)
    return tf_image
def plot_pic(batch_img_one_val, batch_img_two_val, label):
    fig = plt.figure(figsize=(6,2))
    plt.suptitle(label)
    ax1 = fig.add_subplot(1,2,1)
    #ax1.set_title(label)
    ax1.imshow(batch_img_one_val)
    ax1.axis('off')
    ax2 = fig.add_subplot(1,2,2)
    ax2.imshow(batch_img_two_val)
    ax2.axis('off')
    plt.show()
    

def slice_input_producer_one_sample():
    # 重置graph
    tf.reset_default_graph()
    batch_size = 1
    images_one_path_list = ['lda.png', 'snapshot.png','hua.jpeg']
    images_two_path_list = ['tuzi.jpg', 'test.png', 'hua.jpeg']
    label_list = ['lad_tuzi', 'snap_test', 'hua']
    
    # 构造数据queue
    train_input_queue = tf.train.slice_input_producer(
        [images_one_path_list, images_two_path_list,label_list], 
          capacity= 1*batch_size, shuffle=False)
    
    # queue输出数据
    img_one_queue = get_image(train_input_queue[0])
    img_two_queue = get_image(train_input_queue[1])
    label_queue = train_input_queue[2]

    sess = tf.Session()
    sess.run(tf.global_variables_initializer())
    # 启动queue线程
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    for i in range(10):
        batch_img_one_val, batch_img_two_val, label= sess.run(
            [img_one_queue, img_two_queue,label_queue])

        plot_pic(batch_img_one_val, batch_img_two_val, label)

    coord.request_stop()  
    coord.join(threads)  
    sess.close()
slice_input_producer_one_sample()

第一个

第二个

等等。。 现在把读取的图片内存加入到新列队中

使用tf.train.shuffle_batch 取两次图片,每次取三个

代码语言:javascript
复制
import matplotlib.pyplot as plt
def conver_image_size(img,hsize, wsize):
    img = tf.image.convert_image_dtype(img, dtype=tf.float32)  
    img = tf.image.resize_images(img, [hsize, wsize])
    return img


def slice_input_producer_demo():
    # 重置graph
    tf.reset_default_graph()
    # 获取图片系统路径,标签信息
    batch_size = 3
    hsize = 377
    wsize = 500
 
    images_one_path_list = ['lda.png', 'snapshot.png','hua.jpeg']
    images_two_path_list = ['tuzi.jpg', 'test.png', 'hua.jpeg']
    label_list = ['lad_tuzi', 'snap_test', 'hua']
    
    # 构造数据queue
    train_input_queue = tf.train.slice_input_producer(
        [images_one_path_list, images_two_path_list,label_list], 
          capacity= 3, shuffle=False)
    
    # queue输出数据
    img_one_queue = get_image(train_input_queue[0])
    img_two_queue = get_image(train_input_queue[1])
    label_queue = train_input_queue[2]
    # shuffle_batch 批量从queue批量读取数据

    img_one_queue = conver_image_size(img_one_queue, hsize, wsize)
    img_two_queue = conver_image_size(img_two_queue, hsize, wsize)
    
    batch_img_one, batch_img_two, batch_label = tf.train.shuffle_batch(
             [img_one_queue, img_two_queue, label_queue],
              batch_size=batch_size,
              capacity =  10 + 10* batch_size,
              min_after_dequeue = 10,
              num_threads=16)
    sess = tf.Session()
    sess.run(tf.global_variables_initializer())
    
    # 启动queue线程
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    
    for i in range(2):
        batch_img_one_val, batch_img_two_val, label= sess.run(
            [batch_img_one, batch_img_two,batch_label])
        print label
        fig = plt.figure(figsize=(4,6))
        for k in range(batch_size):
            ax1 = fig.add_subplot(batch_size,2,2*k+1)
            ax1.set_title(label[k])
            plt.imshow(batch_img_one_val[k])
            ax2 = fig.add_subplot(batch_size,2,2*k+2)
            ax2.set_title(label[k])
            ax2.imshow(batch_img_two_val[k])
        plt.show()
    coord.request_stop()  
    coord.join(threads)  
    sess.close()

第一次

第二次

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.05.21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档